CN116155873A - 一种云边协同的图像处理方法、系统、设备及介质 - Google Patents

一种云边协同的图像处理方法、系统、设备及介质 Download PDF

Info

Publication number
CN116155873A
CN116155873A CN202211704955.6A CN202211704955A CN116155873A CN 116155873 A CN116155873 A CN 116155873A CN 202211704955 A CN202211704955 A CN 202211704955A CN 116155873 A CN116155873 A CN 116155873A
Authority
CN
China
Prior art keywords
cloud
edge
feature map
reasoning
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211704955.6A
Other languages
English (en)
Inventor
蔡奕杰
陆音
陈子阳
郁建峰
徐兵荣
许旻昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi IoT Technology Co Ltd
Original Assignee
Tianyi IoT Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi IoT Technology Co Ltd filed Critical Tianyi IoT Technology Co Ltd
Priority to CN202211704955.6A priority Critical patent/CN116155873A/zh
Publication of CN116155873A publication Critical patent/CN116155873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种云边协同的图像处理方法、系统、设备及介质，从边缘设备处获取用于深度学习推理的视频流数据；在所述边缘设备处搭建神经网络的卷积层，通过所述卷积层提取所述视频流数据的第一特征图；通过所述边缘设备将所述第一特征图发送到云主机平台；通过所述云主机平台处布置的神经网络的全连接层对所述第一特征图进行推理预测，得到目标推理结果并上报。该方法可以在带宽限制下以尽可能高的吞吐量传递信息，在云主机平台侧，可以使用相对充足的资源执行神经网络推理，提高整个推理系统的效率。本申请可广泛应用于物联网技术领域内。

Description

一种云边协同的图像处理方法、系统、设备及介质
技术领域
本申请涉及物联网技术领域，尤其是一种云边协同的图像处理方法、系统、设备及介质。
背景技术
在现代工业生产生活中，我们周围拥有着海量的视频接入设备和流媒体服务器，它们的特点是低带宽和广泛的设备连接，可以使用智能视频分析技术对这些流媒体数据加以智能分析，深度神经网络(DNN)的集成极大地增强这种边缘设备智能分析的能力。通常，可以把边缘设备连接到云主机平台，用户通过智能分析服务中神经网络给出的目标推理结果做出决策。
相关技术中，将深度学习技术用于提升物联网设备的智能感知能力通常有两种方式，一种是使用边缘设备传输的视频数据在云主机处进行整个推理，而另一种是在边缘设备执行整个推理并将最终结果传输到云主机处。但是这些方案目前均存在一些不足：第一种方案对于在云主机处进行中央决策和控制的应用中具有优势，例如车辆检测和识别、远程监控和场景分析。尽管这种方法减轻了对边缘设备的推理需求，但其性能在很大程度上取决于通过有限带宽进行传输的视频数据。第二种方案当这些边缘设备用于执行整个推理并将结果传递给云主机时，深度神经网络的大量资源需求将限制其性能。
综上，相关技术存在的问题亟需得到解决。
发明内容
本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
为此，本申请实施例的一个目的在于提供一种云边协同的图像处理方法、系统、设备及介质。
为了达到上述技术目的，本申请实施例所采取的技术方案包括：
一方面，本申请实施例提供了一种云边协同的图像处理方法，所述方法包括：
从边缘设备处获取用于深度学习推理的视频流数据；
在所述边缘设备处搭建神经网络的卷积层，通过所述卷积层提取所述视频流数据的第一特征图；
通过所述边缘设备将所述第一特征图发送到云主机平台；
通过所述云主机平台处布置的神经网络的全连接层对所述第一特征图进行推理预测，得到目标推理结果并上报。
另外，根据本申请上述实施例的一种云边协同的图像处理方法，还可以具有以下附加的技术特征：
进一步地，在本申请的一个实施例中，所述通过所述卷积层提取所述视频流数据的第一特征图的步骤之后，所述方法还包括：
通过所述边缘设备对所述第一特征图执行稀疏激活层推理。
进一步地，在本申请的一个实施例中，所述通过所述边缘设备将所述第一特征图发送到云主机平台，包括：
在所述边缘设备侧，通过计算机图形学的图像压缩方法对所述第一特征图进行压缩编码；
通过所述边缘设备将压缩编码后的第一特征图发送到云主机平台。
进一步地，在本申请的一个实施例中，所述方法还包括：
通过所述边缘设备在网络通信时截取所述视频流数据前后两帧第一特征图的残差数据；
在发送所述第一特征图的同时传输所述残差数据。
进一步地，在本申请的一个实施例中，所述方法还包括：
获取批量的训练图像数据和所述训练图像数据对应的第一标签数据；
通过所述边缘设备处部署的卷积层提取所述训练图像数据对应的第二特征图；
通过所述边缘设备将所述第二特征图发送到云主机平台，并通过所述云主机平台处布置的全连接层对所述第二特征图进行推理预测，得到第一推理结果；
根据所述第一推理结果和所述第一标签数据，确定训练的第一损失值；
根据所述第一损失值，对所述卷积层和所述全连接层进行参数更新。
进一步地，在本申请的一个实施例中，所述方法还包括：
获取批量的第三特征图和所述第三特征图对应的第二标签数据；
通过所述云主机平台处布置的全连接层对所述第三特征图进行推理预测，得到第二推理结果；
根据所述第二推理结果和所述第二标签数据，确定训练的第二损失值；
根据所述第二损失值，对所述全连接层进行参数更新。
进一步地，在本申请的一个实施例中，所述根据所述第一推理结果和所述第一标签数据，确定训练的第一损失值，包括：
根据所述第一推理结果和所述第一标签数据，通过交叉熵损失函数确定训练的第一损失值。
另一方面，本申请实施例提供一种云边协同的图像处理系统，所述系统包括：
获取模块，用于从边缘设备处获取用于深度学习推理的视频流数据；
提取模块，用于在所述边缘设备处搭建神经网络的卷积层，通过所述卷积层提取所述视频流数据的第一特征图；
发送模块，用于通过所述边缘设备将所述第一特征图发送到云主机平台；
上报模块，用于通过所述云主机平台处布置的神经网络的全连接层对所述第一特征图进行推理预测，得到目标推理结果并上报。
另一方面，本申请实施例提供了一种计算机设备，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种云边协同的图像处理方法。
另一方面，本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，上述处理器可执行的程序在由处理器执行时用于实现上述的一种云边协同的图像处理方法。
本申请的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：
本申请实施例公开的一种云边协同的图像处理方法，所述方法包括：从边缘设备处获取用于深度学习推理的视频流数据；在所述边缘设备处搭建神经网络的卷积层，通过所述卷积层提取所述视频流数据的第一特征图；通过所述边缘设备将所述第一特征图发送到云主机平台；通过所述云主机平台处布置的神经网络的全连接层对所述第一特征图进行推理预测，得到目标推理结果并上报。该方法可以在带宽限制下以尽可能高的吞吐量传递信息，在云主机平台侧，可以使用相对充足的资源执行神经网络推理，提高整个推理系统的效率。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本申请实施例中提供的一种云边协同的图像处理方法的实施环境示意图；
图2为本申请实施例中提供的一种云边协同的图像处理方法的流程示意图；
图3为本申请实施例中提供的另一种云边协同的图像处理方法的流程示意图；
图4为本申请实施例中提供的一种计算机设备的结构示意图。
具体实施方式
下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
人工智能(Artificial Intelligence，AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，机器学习(深度学习)通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
在现代工业生产生活中，我们周围拥有着海量的视频接入设备和流媒体服务器，它们的特点是低带宽和广泛的设备连接，可以使用智能视频分析技术对这些流媒体数据加以智能分析，深度神经网络(DNN)的集成极大地增强这种边缘设备智能分析的能力。通常，可以把边缘设备连接到云主机平台，用户通过智能分析服务中神经网络给出的目标推理结果做出决策。
相关技术中，将深度学习技术用于提升物联网设备的智能感知能力通常有两种方式，一种是使用边缘设备传输的视频数据在云主机处进行整个推理，而另一种是在边缘设备执行整个推理并将最终结果传输到云主机处。但是这些方案目前均存在一些不足：第一种方案对于在云主机处进行中央决策和控制的应用中具有优势，例如车辆检测和识别、远程监控和场景分析。尽管这种方法减轻了对边缘设备的推理需求，但其性能在很大程度上取决于通过有限带宽进行传输的视频数据。第二种方案当这些边缘设备用于执行整个推理并将结果传递给云主机时，深度神经网络的大量资源需求将限制其性能。
有鉴于此，本申请实施例中提供一种云边协同的图像处理方法，该方法针对目前业内的两种推理解决方案的痛点，即在边缘设备侧完成整个推理资源占用率太高，而解决复杂问题需要更深的网络和大量的参数，显著得增加边缘设备的计算/内存需求，而在云主机平台完成整个推理会给网络传输带来巨大压力，物联网设备并不能时刻给云主机平台提供高质量可供分析的视频数据，提出在边缘设备侧和云主机平台侧对模型进行划分，并将中间推理结果即特征图通过计算机图形学的图像压缩方法加以压缩进行网络传输，整个推理过程采用边缘设备侧和云主机侧协同推理的方式进行推进，提供一整套端到端的解决方案，这样可以在带宽限制下以尽可能高的吞吐量传递信息，而在云主机平台侧，可以使用相对充足的资源执行神经网络推理，提高整个推理系统的效率。
首先，请参照图1，图1是本申请实施例提供的一种云边协同的图像处理方法的实施环境示意图。参照图1，该实施环境的软硬件主体主要包括边缘设备101和云主机平台102，边缘设备101与云主机平台102通信连接。其中，该云边协同的图像处理方法可以基于边缘设备101与云主机平台102二者之间的交互来执行，具体可以根据实际应用情况进行适当的选择，本实施例对此并不作具体限定。
其中，边缘设备101可以包括边缘路由器、路由交换机、防火墙、多路复用器和其他广域网(WAN)设备等；云主机平台102可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。边缘设备101与云主机平台102之间可以通过无线网络或有线网络建立通信连接，该无线网络或有线网络使用标准通信技术和/或协议，网络可以设置为因特网，也可以是其它任何网络，例如包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。
请参照图2，图2是本申请实施例提供的一种云边协同的图像处理方法的流程示意图，参照图2，该一种云边协同的图像处理方法包括但不限于：
步骤110、从边缘设备处获取用于深度学习推理的视频流数据；
步骤120、在所述边缘设备处搭建神经网络的卷积层，通过所述卷积层提取所述视频流数据的第一特征图；
步骤130、通过所述边缘设备将所述第一特征图发送到云主机平台；
步骤140、通过所述云主机平台处布置的神经网络的全连接层对所述第一特征图进行推理预测，得到目标推理结果并上报。
本申请实施例中，提供一种云边协同的分区推理方法。该方法中使用了云边协同技术，包括有边缘设备和云主机平台。其中，边缘设备负责将输入的视频流数据推理到网络的中间层，并将输出的特征图通过网络传输到云主机平台来对神经网络的其余部分进行推理。该方法通过对深度神经网络的结构进行权衡分析，提出了一种分区设计方案，即在边缘设备处分配全部卷积层，而在云主机平台上分配其余的全连接层。
具体地，参照图3，本申请实施例中，整个云边协同的推理过程包括：边缘设备捕获用于深度学习推理的视频流数据，使用自身有限的资源进行神经网络的卷积层的推理，可以得到视频流数据对应的特征图，本申请实施例中，将其记为第一特征图。然后，边缘设备可以将第一特征图发送到云主机平台，云主机平台通过网络通信接收，可以获得全连接层的输入特征图，然后使用云主机平台端的资源进行全连接层推理，得到并上报输出的目标推理结果。
可以理解的是，本申请实施例中，该方法可以通过有限的带宽，尽可能得利用云主机平台上资源提供神经网络推理结果，并在边缘设备上实现最大的资源利用率和吞吐量。
在一些实施例中，所述通过所述卷积层提取所述视频流数据的第一特征图的步骤之后，所述方法还包括：
通过所述边缘设备对所述第一特征图执行稀疏激活层推理。
在一些实施例中，所述通过所述边缘设备将所述第一特征图发送到云主机平台，包括：
在所述边缘设备侧，通过计算机图形学的图像压缩方法对所述第一特征图进行压缩编码；
通过所述边缘设备将压缩编码后的第一特征图发送到云主机平台。
在一些实施例中，所述方法还包括：
通过所述边缘设备在网络通信时截取所述视频流数据前后两帧第一特征图的残差数据；
在发送所述第一特征图的同时传输所述残差数据。
本申请实施例中，还提出一种特征空间的编码方案，边缘设备推理卷积层得到的第一特征图，可以再添加一层稀疏激活层，使特征图的编码更稀疏。然后可以通过计算机图形学的图像压缩方法，对第一特征图加以压缩，由于添加了稀疏激活层，即使使用有损编码也可以使损失降到可以接受的范围内。基于对视频流数据的分析，可以发现视频流中两帧的图像差别是细微的，所以可以在传输第一特征图的过程中，同步传输两帧的残差数据以进一步提高带宽利用率。
具体地，本申请实施例中，在模型中间层划分两个网络，边缘设备侧推理得到的第一特征图被编码并传输到云主机平台以进行其余的推理。可以把模型网络中的每一层看作是将输入特征编码到输出特征空间，输出特征空间的大小在通过最大池化操作时减小。显然，视频流数据在通过模型时，随着模型层数的深入，数据大小在减小，数据的稀疏性在增加。如果在边缘设备侧包含全连接层或更深层的网络，系统吞吐量和资源利用率将主要由于全连接层的内存访问需求而降低。而如果在卷积层对网络进行划分，传输需求仍将限制推理性能，因为传输的特征量仍然较大。因此，本申请实施例中，提出了一个划分方案，在卷积层的末端对网络进行分区。边缘设备的数据流可以针对卷积层进行优化，而不用考虑全连接层中的异构数据流。此外，卷积层的内核尺寸较小，也很容易部署在存储空间有限的边缘设备。
可以理解的是，使用了中间层的推理分区意味着其输出的特征图必须通过网络传输到云主机平台端。为了进一步提高资源利用效率和吞吐量，本申请实施例中提出在传输之前对第一特征图进行压缩，使用计算机图形学的图像压缩方法，原始特征图的数据表示通常是稀疏的，因此也很容易被压缩。
当然，需要说明的是，在深度学习模型部署前，需要对其进行训练，以调整其内部的参数，从而达到较好的预测效果。具体地，在一些实施例中，该模型的训练过程可以包括：
获取批量的训练图像数据和所述训练图像数据对应的第一标签数据；
通过所述边缘设备处部署的卷积层提取所述训练图像数据对应的第二特征图；
通过所述边缘设备将所述第二特征图发送到云主机平台，并通过所述云主机平台处布置的全连接层对所述第二特征图进行推理预测，得到第一推理结果；
根据所述第一推理结果和所述第一标签数据，确定训练的第一损失值；
根据所述第一损失值，对所述卷积层和所述全连接层进行参数更新。
本申请实施例中，在一些情况下，可以对模型整体的卷积层和全连接层一起训练，此时，可以获取批量的训练图像数据以及训练图像数据对应的第一标签数据，其中，第一标签数据用于表征训练图像数据对应的真实结果。然后，可以将每个训练图像数据和其对应的第一标签数据作为一组训练数据，模型的输入数据为训练图像数据，通过模型对训练图像数据进行预测，模型的输出数据为第一推理结果。在得到模型输出的第一推理结果后，可以根据第一推理结果和第一标签数据来评估模型预测的准确性，从而对模型的参数进行更新。
具体地，对于深度学习模型来说，输出结果的准确性可以通过损失函数(LossFunction)来衡量，损失函数是定义在单个训练数据上的，用于衡量一个训练数据的预测误差，具体是通过单个训练数据的标签和模型对该训练数据的输出结果确定该训练数据的损失值。而实际训练时，一个训练数据集有很多训练数据，因此一般采用代价函数(CostFunction)来衡量训练数据集的整体误差，代价函数是定义在整个训练数据集上的，用于计算所有训练数据的预测误差的平均值，能够更好地衡量出模型的预测效果。对于一般的深度学习模型来说，基于前述的代价函数，再加上衡量模型复杂度的正则项即可作为训练的目标函数，基于该目标函数便能求出整个训练数据集的损失值。
具体地，在相关领域内，常用的损失函数种类有很多，例如0-1损失函数、平方损失函数、绝对损失函数、对数损失函数、交叉熵损失函数等均可以作为机器学习模型的损失函数，在此不再一一阐述。本申请实施例中，可以从中任选一种损失函数来确定训练的第一损失值，例如交叉熵损失函数。基于第一损失值，采用反向传播算法对模型的参数进行更新，迭代几轮即可得到训练好的神经网络。具体的迭代轮数可以预先设定，或者在测试集达到精度要求时认为训练完成。
在另一些实施例中，所述方法还包括：
获取批量的第三特征图和所述第三特征图对应的第二标签数据；
通过所述云主机平台处布置的全连接层对所述第三特征图进行推理预测，得到第二推理结果；
根据所述第二推理结果和所述第二标签数据，确定训练的第二损失值；
根据所述第二损失值，对所述全连接层进行参数更新。
本申请实施例中，除了前述的训练方式外，还可以拆分训练整个网络模型来提高推理过程在特征有损编码下的准确性。例如，可以首先训练部署于边缘设备侧的包含全部卷积层的神经网络，这样可以得到很多特征图结果，本申请实施例中，将训练好的卷积层的输出记为第三特征图，然后可以获取第三特征图对应的第二标签数据，将这些得到的第三特征图和第二标签数据用作训练数据，来训练部署于云主机平台端的包含全部全连接层的神经网络。具体地，此时，将全连接层的输出记为第二推理结果，可以根据第二推理结果和第二标签数据，确定训练的第二损失值，从而反向更新全连接层的参数。
可以理解的是，本申请实施例中，提出在边缘设备侧和云主机平台侧对模型进行划分，并将中间推理结果即特征图通过计算机图形学的图像压缩方法加以压缩进行网络传输，整个推理过程采用边缘侧和云主机侧协同推理的方式进行推进，提供一整套端到端的解决方案，这样可以在带宽限制下以尽可能高的吞吐量传递信息，而在云主机平台侧，可以使用相对充足的资源执行神经网络推理，提高整个推理系统的效率，能够提到相对于现有技术更优的技术效果。
本申请实施例还提供一种云边协同的图像处理系统，所述系统包括：
获取模块，用于从边缘设备处获取用于深度学习推理的视频流数据；
提取模块，用于在所述边缘设备处搭建神经网络的卷积层，通过所述卷积层提取所述视频流数据的第一特征图；
发送模块，用于通过所述边缘设备将所述第一特征图发送到云主机平台；
上报模块，用于通过所述云主机平台处布置的神经网络的全连接层对所述第一特征图进行推理预测，得到目标推理结果并上报。
可以理解的是，图2所示的一种云边协同的图像处理方法实施例中的内容均适用于本一种云边协同的图像处理系统实施例中，本一种云边协同的图像处理系统实施例所具体实现的功能与图2所示的一种云边协同的图像处理方法实施例相同，并且达到的有益效果与图2所示的一种云边协同的图像处理方法实施例所达到的有益效果也相同。
参照图4，本申请实施例还公开了一种计算机设备，包括：
至少一个处理器301；
至少一个存储器302，用于存储至少一个程序；
当至少一个程序被至少一个处理器301执行，使得至少一个处理器301实现如图2所示的一种云边协同的图像处理方法实施例。
可以理解的是，如图2所示的一种云边协同的图像处理方法实施例中的内容均适用于本计算机设备实施例中，本计算机设备实施例所具体实现的功能与如图2所示的一种云边协同的图像处理方法实施例相同，并且达到的有益效果与如图2所示的一种云边协同的图像处理方法实施例所达到的有益效果也相同。
本申请实施例还公开了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现如图2所示的一种云边协同的图像处理方法实施例。
可以理解的是，如图2所示的一种云边协同的图像处理方法实施例中的内容均适用于本计算机可读存储介质实施例中，本计算机可读存储介质实施例所具体实现的功能与如图2所示的一种云边协同的图像处理方法实施例相同，并且达到的有益效果与如图2所示的一种云边协同的图像处理方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理系统和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理系统或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的系统中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、系统或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、系统或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、系统或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、系统或设备或结合这些指令执行系统、系统或设备而使用的系统。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子系统)，便携式计算机盘盒(磁系统)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤系统，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内
在本说明书的描述中，参考术语“一个实施方式”、“另一实施方式”或“某些实施方式”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种云边协同的图像处理方法，其特征在于，所述方法包括：
从边缘设备处获取用于深度学习推理的视频流数据；
在所述边缘设备处搭建神经网络的卷积层，通过所述卷积层提取所述视频流数据的第一特征图；
通过所述边缘设备将所述第一特征图发送到云主机平台；
通过所述云主机平台处布置的神经网络的全连接层对所述第一特征图进行推理预测，得到目标推理结果并上报。
2.根据权利要求1所述的一种云边协同的图像处理方法，其特征在于，所述通过所述卷积层提取所述视频流数据的第一特征图的步骤之后，所述方法还包括：
通过所述边缘设备对所述第一特征图执行稀疏激活层推理。
3.根据权利要求1所述的一种云边协同的图像处理方法，其特征在于，所述通过所述边缘设备将所述第一特征图发送到云主机平台，包括：
在所述边缘设备侧，通过计算机图形学的图像压缩方法对所述第一特征图进行压缩编码；
通过所述边缘设备将压缩编码后的第一特征图发送到云主机平台。
4.根据权利要求3所述的一种云边协同的图像处理方法，其特征在于，所述方法还包括：
通过所述边缘设备在网络通信时截取所述视频流数据前后两帧第一特征图的残差数据；
在发送所述第一特征图的同时传输所述残差数据。
5.根据权利要求1所述的一种云边协同的图像处理方法，其特征在于，所述方法还包括：
获取批量的训练图像数据和所述训练图像数据对应的第一标签数据；
通过所述边缘设备处部署的卷积层提取所述训练图像数据对应的第二特征图；
通过所述边缘设备将所述第二特征图发送到云主机平台，并通过所述云主机平台处布置的全连接层对所述第二特征图进行推理预测，得到第一推理结果；
根据所述第一推理结果和所述第一标签数据，确定训练的第一损失值；
根据所述第一损失值，对所述卷积层和所述全连接层进行参数更新。
6.根据权利要求1-5中任一项所述的一种云边协同的图像处理方法，其特征在于，所述方法还包括：
获取批量的第三特征图和所述第三特征图对应的第二标签数据；
通过所述云主机平台处布置的全连接层对所述第三特征图进行推理预测，得到第二推理结果；
根据所述第二推理结果和所述第二标签数据，确定训练的第二损失值；
根据所述第二损失值，对所述全连接层进行参数更新。
7.根据权利要求5所述的一种云边协同的图像处理方法，其特征在于，所述根据所述第一推理结果和所述第一标签数据，确定训练的第一损失值，包括：
根据所述第一推理结果和所述第一标签数据，通过交叉熵损失函数确定训练的第一损失值。
8.一种云边协同的图像处理系统，其特征在于，所述系统包括：
获取模块，用于从边缘设备处获取用于深度学习推理的视频流数据；
提取模块，用于在所述边缘设备处搭建神经网络的卷积层，通过所述卷积层提取所述视频流数据的第一特征图；
发送模块，用于通过所述边缘设备将所述第一特征图发送到云主机平台；
上报模块，用于通过所述云主机平台处布置的神经网络的全连接层对所述第一特征图进行推理预测，得到目标推理结果并上报。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一项所述的一种云边协同的图像处理方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-7中任一项所述的一种云边协同的图像处理方法。
CN202211704955.6A 2022-12-29 2022-12-29 一种云边协同的图像处理方法、系统、设备及介质 Pending CN116155873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211704955.6A CN116155873A (zh) 2022-12-29 2022-12-29 一种云边协同的图像处理方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211704955.6A CN116155873A (zh) 2022-12-29 2022-12-29 一种云边协同的图像处理方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN116155873A true CN116155873A (zh) 2023-05-23

Family

ID=86361176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211704955.6A Pending CN116155873A (zh) 2022-12-29 2022-12-29 一种云边协同的图像处理方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN116155873A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116610868A (zh) * 2023-07-13 2023-08-18 支付宝(杭州)信息技术有限公司 样本标注方法、端边云协同训练方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116610868A (zh) * 2023-07-13 2023-08-18 支付宝(杭州)信息技术有限公司 样本标注方法、端边云协同训练方法及装置
CN116610868B (zh) * 2023-07-13 2023-09-29 支付宝(杭州)信息技术有限公司 样本标注方法、端边云协同训练方法及装置

Similar Documents

Publication Publication Date Title
US20230336754A1 (en) Video compression using deep generative models
KR20190089777A (ko) 이미지의 품질 향상을 위하여 이미지를 처리하는 방법 및 장치
TWI806199B (zh) 特徵圖資訊的指示方法，設備以及電腦程式
CN112565777B (zh) 基于深度学习模型视频数据传输方法、系统、介质及设备
CN116912257B (zh) 基于深度学习的混凝土路面裂缝识别方法及存储介质
CN116233445B (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
CN116155873A (zh) 一种云边协同的图像处理方法、系统、设备及介质
EP3924889A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN116600119B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN109190649B (zh) 一种深度学习网络模型服务器的优化方法和装置
CN114501031B (zh) 一种压缩编码、解压缩方法以及装置
US20230412821A1 (en) Encoding a Video Frame Using Different Compression Ratios for Text Blocks and Non-Text Blocks
CN113949880B (zh) 一种极低码率人机协同图像编码训练方法及编解码方法
US20220415033A1 (en) Shared Training of Neural Networks to Reduce Data and for the Object Detection of Image Data
CN116491115A (zh) 用于视频编码的具有反馈控制的速率控制机器学习模型
Dong et al. Innovative semantic communication system
Bao et al. Image Compression for Wireless Sensor Network: A Model Segmentation-Based Compressive Autoencoder
Adate et al. Analysing image compression using generative adversarial networks
CN116996661B (zh) 三维视频展示方法、装置、设备及介质
CN117793289A (zh) 一种视频传输方法、视频重建方法及相关设备
Filini et al. Rate-Accuracy Optimization of Deep Convolutional Neural Network Models
CN117750014A (zh) 视频编码方法、装置及存储介质
CN118097107A (zh) 一种基于知识蒸馏的YOLOv5目标检测方法及系统
Li et al. Attention-based variable-size feature compression module for edge inference
CN116743999A (zh) 无人机架空输电线路巡检图像压缩方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination