CN114143541B - 一种面向语义分割的云边协同视频压缩上载方法及装置 - Google Patents

一种面向语义分割的云边协同视频压缩上载方法及装置 Download PDF

Info

Publication number
CN114143541B
CN114143541B CN202111320006.3A CN202111320006A CN114143541B CN 114143541 B CN114143541 B CN 114143541B CN 202111320006 A CN202111320006 A CN 202111320006A CN 114143541 B CN114143541 B CN 114143541B
Authority
CN
China
Prior art keywords
video frame
semantic segmentation
quantization
compression
uploaded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111320006.3A
Other languages
English (en)
Other versions
CN114143541A (zh
Inventor
王巍
肖雪豆
张珏城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202111320006.3A priority Critical patent/CN114143541B/zh
Publication of CN114143541A publication Critical patent/CN114143541A/zh
Application granted granted Critical
Publication of CN114143541B publication Critical patent/CN114143541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种面向语义分割的云边协同视频压缩上载方法及装置，属于无线通信与计算机视觉交叉领域。一方面，云服务器在离线阶段针对语义分割DNN定制不同级别的以像素块为单位的量化表；在在线阶段根据边缘端设备上载的视频帧生成空间自适应的压缩策略，并将该压缩策略与语义分割结果一同反馈到边缘端设备；另一方面，边缘端设备将每次反馈得到的压缩策略与语义分割结果缓存在本地，并基于时间相关性提取视频光流信息，将压缩策略与语义分割结果从上载帧传播到当前帧，并进一步选取关键帧上载到云端以适应视频变化。如此，能够在保障上载视频语义分割精度的同时最小化上载的视频体积，从而促进语义分割技术在海量边缘端设备的大规模应用。

Description

一种面向语义分割的云边协同视频压缩上载方法及装置
技术领域
本发明属于无线通信与计算机视觉交叉领域，更具体地，涉及一种面向语义分割的云边协同视频压缩上载方法及装置。
背景技术
近年来，语义分割在移动设备与物联网设备中得到了广泛的应用，包括智能手机、平板电脑、无人机、自动驾驶汽车与增强现实头盔等。在视频语义分割的推动下，自动驾驶汽车通过实时获取对周围环境的像素级理解以实现自动导航；谷歌公司陆续推出了肖像模式和YouTube故事模式以丰富背景设置，优化用户体验；基于人体与背景的细粒度分割，虚拟试衣和化妆应用成为现实。语义分割技术的广泛应用归功于深度学习技术(如深度神经网络(DNNs))的突破，然而，困扰研究人员已久的是DNN日益增长的计算复杂度与移动设备或物联网设备有限的计算资源之间的矛盾。在移动边缘计算(MEC)的推动下，将DNN计算任务与视频上载到云服务器(包括边缘云或中心云)上成为缓解这一矛盾的有力方法。
然而，随着具有视觉应用的移动设备或物联网设备的爆炸性增长，有限的无线带宽资源成为实现视频上载与分析规模化应用的最紧迫挑战。雪上加霜的是，语义分割并没有明显并且高度集中的感兴趣区域(RoIs)，这迫使现有面向语义分割应用的图像/视频压缩方法对整个图像/帧平面采用统一且固定的压缩策略。在这种情况下，边缘端设备必须降低整个图像/帧平面的压缩率，以确保DNN探测的准确性，这导致了大量额外无线带宽的消耗，严重阻碍了语义分割技术在海量移动设备或物联网设备上的大规模应用。因此，迫切需要设计一种专门应用于语义分割的视频压缩与上载方法来应对这个难题。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种面向语义分割的云边协同视频压缩上载方法、装置、电子设备及计算机可读存储介质，旨在保障上载视频语义分割精度的同时最小化上载的视频体积，以适应计算资源和带宽资源受限的移动设备与物联网设备。
为实现上述目的，第一方面，本发明提供了一种面向语义分割的云边协同视频压缩上载方法，所述方法应用于边缘端设备，所述方法包括：
将第一帧视频作为关键帧进行压缩并上载到云服务器，使云服务器将接收的上载视频帧输入语义分割DNN，得到语义分割结果并生成对应于所述上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，所述量化表以像素块为单位，每个区域包括多个像素块；
接收所述语义分割结果以及压缩策略，并进行本地缓存；提取视频帧间的光流信息，将缓存的语义分割结果从所述上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；
利用光流信息将所述上载视频帧的各像素传播到当前视频帧，计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
第二方面，提供了一种面向语义分割的云边协同视频压缩上载方法，所述方法应用于云端中的任一服务器，所述方法包括：
生成不同等级的量化表，所述量化表以像素块为单位；
接收边缘端设备上载的视频帧并输入语义分割DNN，得到语义分割结果并生成对应于上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，每个区域包括多个像素块；
将所述语义分割结果以及压缩策略反馈至边缘端设备，使边缘端设备在本地缓存所述语义分割结果以及压缩策略，并提取视频帧间的光流信息，将缓存的语义分割结果从上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；以及利用光流信息将所述上载视频帧的各像素传播到当前视频帧，并计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
进一步地，所述生成不同等级的量化表，包括：
通过遍历的方式获得满足语义分割精度要求的最大DNN损失函数增长上限B0；
以所述B0为中心，获得不同级别的最大DNN损失函数增长上限
Figure BDA0003345247380000031
l为量化等级，L为量化等级总数；
为每个Bl值生成对应的量化表Tl，其中量化间隔
Figure BDA0003345247380000032
M表示随机图像的像素个数，N为一个像素块的像素个数，n∈{1,2,…,N}表示任一个离散余弦变换DCT系数的频率分量，gn表示语义分割DNN对随机图像DCT系数各频率分量的梯度。
进一步地，所述生成对应于上载视频帧的压缩策略，包括：
计算语义分割DNN相对于上载视频帧所有像素点的离散余弦变换DCT系数的梯度
Figure BDA0003345247380000033
si表示DCT系数；
将上载视频帧的像素平面划分为不同区域
Figure BDA0003345247380000034
计算在每个量化表选择下，每个区域Rr的最大DNN损失函数增长值
Figure BDA0003345247380000041
Figure BDA0003345247380000042
si→n表示上载视频帧的DCT系数相对应的频率，
Figure BDA0003345247380000043
表示量化表中该频率分量的量化间隔；
为每个区域Rr选择
Figure BDA0003345247380000044
值中最接近
Figure BDA0003345247380000045
值所对应的量化表作为最佳量化表，N(Rr)为区域Rr内所包含的像素个数。
第三方面，提供了一种面向语义分割的云边协同视频压缩上载装置，所述装置应用于边缘端设备，所述装置包括：
第一处理模块，用于将第一帧视频作为关键帧进行压缩并上载到云服务器，使云服务器将接收的上载视频帧输入语义分割DNN，得到语义分割结果并生成对应于所述上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，所述量化表以像素块为单位，每个区域包括多个像素块；
第二处理模块，用于接收所述语义分割结果以及压缩策略，并进行本地缓存；提取视频帧间的光流信息，将缓存的语义分割结果从所述上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；
第三处理模块，用于利用光流信息将所述上载视频帧的各像素传播到当前视频帧，计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
第四方面，提供了一种面向语义分割的云边协同视频压缩上载装置，所述装置应用于云端中的任一服务器，所述装置包括：
生成模块，用于生成不同等级的量化表，所述量化表以像素块为单位；
接收模块，用于接收边缘端设备上载的视频帧并输入语义分割DNN，得到语义分割结果并生成对应于上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，每个区域包括多个像素块；
反馈模块，用于将所述语义分割结果以及压缩策略反馈至边缘端设备，使边缘端设备在本地缓存所述语义分割结果以及压缩策略，并提取视频帧间的光流信息，将缓存的语义分割结果从上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；以及利用光流信息将所述上载视频帧的各像素传播到当前视频帧，并计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
第五方面，提供了一种电子设备，包括：
处理器、存储器和总线；
所述总线，用于连接所述处理器和所述存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行第一和第二方面所述的面向语义分割的云边协同视频压缩上载方法。
第六方面，提供了一种计算机可读存储介质，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行第一和第二方面所述的面向语义分割的云边协同视频压缩上载方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明提供的面向语义分割的云边协同视频压缩上载方法，一方面，云服务器在离线阶段针对语义分割DNN定制不同级别的以像素块为单位的量化表；云服务器在在线阶段根据边缘端设备上载的视频帧生成空间自适应的压缩策略，具体为根据视频帧不同区域的非均匀敏感性(即DNN梯度)选择各区域适合的量化表，并将该压缩策略与语义分割结果一同反馈到边缘端设备；另一方面，边缘端设备将每次反馈得到的压缩策略与语义分割结果缓存在本地，并基于时间相关性提取视频光流信息，将压缩策略与语义分割结果从之前上载帧传播到当前帧，并进一步根据自适应上载机制选取关键帧上载到云端以适应视频变化。通过本发明，边缘端设备能够在云服务器的辅助下，最小化视频上载体积并保障语义分割的精度，促进语义分割技术在海量边缘端设备的大规模应用。
(2)本发明利用视频帧间的时间相关性，提取光流信息使压缩策略在帧间传播，并根据自适应上载机制选择关键帧上载到云端，因此本发明能够自主适应视频动态变化；同时，能够根据实时精度要求与可利用带宽，动态调整压缩策略，实现带宽消耗与精度之间的动态平衡。
附图说明
图1为本发明实施例提供的面向语义分割的云边协同视频压缩上载方法的流程示意图之一；
图2为本发明实施例提供的真实损失函数和伪损失函数随压缩率变化的示意图；
图3为本发明实施例提供的面向语义分割的云边协同视频压缩上载方法的流程示意图之二；
图4为本发明实施例提供的面向语义分割的云边协同视频压缩上载方法的流程示意图之三；
图5为本发明实施例提供的面向语义分割的云边协同视频压缩上载装置的结构框图之一；
图6为本发明实施例提供的面向语义分割的云边协同视频压缩上载装置的结构框图之二。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
参阅图1，包括多级量化表离线生成部分、空间自适应量化表在线选择部分和时间自适应部分。
考虑一个DNN的损失函数为Q，输入的图像/视频帧具有M个像素，可表示为x＝{x1,x2,…,xM}，计算DNN相对于各像素点的梯度，即Q相对于xi的偏导数
Figure BDA0003345247380000071
图像的语义分割DNN梯度
Figure BDA0003345247380000072
可以展现其非均匀的空间敏感性，梯度越大，则代表对该区域越敏感，在压缩过程中更容易造成语义分割精度下降。图像的压缩可以看作为对每一个像素加入噪声的过程，根据总微分方程，当所有的Δxi都非常小的时候，DNN的损失函数变化ΔQ可以被建模为
Figure BDA0003345247380000073
由于DCT系数的量化是编码过程中的主要有损压缩技术之一，本发明将DNN对于各像素点的梯度转换为DNN对于各DCT系数的梯度
Figure BDA0003345247380000074
表示一个图像/视频帧内所有的DCT系数，值得注意的是DCT系数的个数与像素点的个数相同。ΔQ也可以表示为：
Figure BDA0003345247380000075
其中
Figure BDA0003345247380000076
表示量化误差，并且
Figure BDA0003345247380000077
因此可以得到
Figure BDA0003345247380000078
这代表整个图像在
Figure BDA0003345247380000079
的量化间隔下造成的最大DNN损失增量。当我们设定一个可允许的最大DNN损失增量上限B以保障语义分割准确性时，这表示以下约束条件得到了满足：
Figure BDA0003345247380000081
因此，量化间隔
Figure BDA0003345247380000082
设计的优化目标为在这个约束条件下使上载带宽消耗最小，表示为
Figure BDA0003345247380000083
当
Figure BDA0003345247380000084
Figure BDA0003345247380000085
时，优化问题可以进一步表示为：
Figure BDA0003345247380000086
其中，q表示量化间隔向量
Figure BDA0003345247380000087
优化问题的最佳解为所有
Figure BDA0003345247380000088
相等且满足
Figure BDA0003345247380000089
可进一步得到各量化间隔的最优解为
Figure BDA00033452473800000810
以使得在最大DNN损失增量上限B的约束下最小化上载体积。该应用于每个DCT系数的量化间隔设计即为压缩策略。
然而，压缩策略是在云服务器端生成的，需要被不断反馈给边缘端设备，以便压缩策略在后续上载视频帧被采用，本发明通过计算光流信息实现压缩策略的帧间传播，当后续上载帧采用该传播后的压缩策略时，压缩策略需要进一步与视频帧一起上载来保障解码，该压缩策略的反馈与上载过程带来了严重的带宽消耗，造成巨大延时。假设视频帧包含M＝2048×1024个像素，那么总DCT系数个数为3×2048×1024，多达6MB数据量的量化间隔需要传输，这些通信负载使得压缩策略失去效力。
为了减轻压缩策略的通信负载，最有效的方法是将部分压缩策略生成与传输过程放在离线阶段进行，来减小线上通信负载并保障实时性。换句话说，我们的目标变成了如何生成离线压缩策略，使其在线应用时能够一方面减小通信消耗，另一方面又能实现像素平面的空间自适应压缩。我们的思路是，云服务器在离线阶段为每个DNN定制L个不同级别的量化表
Figure BDA00033452473800000811
以供像素平面的不同区域根据它们的敏感性进行在线选择，从而压缩策略的传输可以简化为传输各区域所选择的离线量化表的等级，这能够极大程度减小原有通信负载。
具体步骤如下：(1)首先，计算DNN相对于随机图像DCT系数的各频率分量梯度
Figure BDA0003345247380000091
其中，N为一个像素块的像素个数和DCT系数个数，任意n∈{1,2,…,N}表示DCT系数的频率分量，gn表示DNN相对于随机图像DCT系数各频率梯度的平均值；(2)根据精度要求，我们搜索满足要求的最大DNN损失函数增长上限B0，搜索过程包括遍历B值,生成相应的以像素块为基础的量化表
Figure BDA0003345247380000092
并测试将这些量化表应用于图像/帧时的语义分割DNN精度。(3)然后以B0为中心，调整B值以获得不同级别的最大DNN损失函数增长上限
Figure BDA0003345247380000093
相应地，可以生成不同级别的量化表
Figure BDA0003345247380000094
每个量化表Tl代表不同的压缩率，由不同的上界Bl决定。值得注意的是，这些离线的量化表是根据某一特定DNN定制的，在离线阶段根据随机图片生成，这些图片不属于在线视频。
基于离线生成的多级别量化表，本发明能够根据上载视频帧像素平面的不同区域的敏感性选择合适的量化表。例如，对于低敏感度的区域(即低梯度)，优先选择高压缩率的量化表。反之，对于高敏感度的区域，低压缩率的量化表被优先考虑。为简单起见，我们将上载帧的像素平面分为rmax个区域，每个区域包含相同个像素块，我们以区域作为量化表选择的基本单位，以进一步降低压缩策略的通信负载。对于每个区域
Figure BDA0003345247380000095
量化表的在线选择步骤如下：(1)首先，测量DNN相对于上载视频帧每个DCT系数的梯度
Figure BDA0003345247380000096
(2)然后，针对每个区域Rr计算在每一级量化表
Figure BDA0003345247380000097
Figure BDA0003345247380000098
选择情况下的最大DNN损失函数增量
Figure BDA0003345247380000099
Figure BDA00033452473800000910
其中si→n表示DCT系数相对应的频率，
Figure BDA00033452473800000911
表示量化表Tl中该频率分量的量化间隔；(3)接下来，为每个区域Rr选择
Figure BDA00033452473800000912
值中最接近
Figure BDA00033452473800000913
所对应的量化表
Figure BDA00033452473800000914
其中，N(Rr)为区域Rr内所包含的像素个数，
Figure BDA0003345247380000101
为总体最大DNN损失函数增长上限B0根据各区域像素个数比例，均匀分配给各区域的最大DNN损失函数增长上限；(4)将每个区域Rr选择的量化表级别
Figure BDA0003345247380000102
连同语义分割结果一起反馈到边缘端设备，而不需要反馈具体的量化表。
回顾一下，根据之前的推论，当每个DCT系数所对应的量化间隔为
Figure BDA0003345247380000103
时，在确保语义分割精确性的同时压缩率最大。然而由于压缩策略反馈与上载导致的巨大通信负载，本发明不再针对每个DCT系数的量化步骤进行优化，而只是控制每个区域的量化表选择来优化。然而，我们仍然不清楚的是这种方法与没有进行空间自适应压缩的传统算法相比，能否实现性能增益，即在相同的精度下(即最大DNN损失函数增长上限B)，得到更高的压缩率。我们在下文给出了理论论证。
为简单起见，我们将每个区域的像素值计算为
Figure BDA0003345247380000104
此时，问题总结为：当
Figure BDA0003345247380000105
(C1)，并且满足任意
Figure BDA0003345247380000106
(C2)，
Figure BDA0003345247380000107
在约束
Figure BDA0003345247380000108
(C3)下是否比没有该约束时大？
证明：(1)当只有C1和C2约束而没有C3约束时，
Figure BDA0003345247380000109
的联合概率分布函数为：
Figure BDA00033452473800001010
因此，期望
Figure BDA00033452473800001011
可以计算为：
Figure BDA00033452473800001012
(2)而当C1、C2和C3约束都满足时，期望
Figure BDA00033452473800001013
可以计算为：
Figure BDA0003345247380000111
因此，我们可以得到两种期望的比值为：
Figure BDA0003345247380000112
在以上方程中，我们可以从理论推导得出，在相同的DNN损失函数增量上限B的情况下，增加约束条件C3确实实现了性能的提高，这为我们的方法提供了理论依据。
一个关键问题是，是否需要先上载一个未压缩的原始视频帧来获得语义分割的真实标签，进而计算梯度？针对这个问题，我们提出基于压缩后的视频帧计算得到的伪梯度甚至比基于原始帧计算得到的真实梯度更适合量化表的选择，其中，伪梯度的计算方法如下：(1)首先，我们将压缩帧的DNN预测结果作为语义分割的伪标签；(2)其次，我们计算DNN输出向量和伪标签之间的伪损失函数Q；(3)基于伪损失函数Q计算伪梯度。我们测试了在实际压缩过程中真实Q和伪Q的变化，并将结果展示在图2中。x-轴表示随着压缩率增加的总量化误差‖Δs‖1＝|Δs1|+|Δs2|+…+|ΔsM|变化。如图2所示，真实Q和伪Q都是凹函数，但是伪Q增加相对缓慢，原因在于伪标签比真实标签更接近DNN输出向量。例如，假设输入某一压缩视频帧，DNN的输出为(0.6,0.4,0)，图2对应的真实语义分割标签为(0,1,0)，然而，根据上文计算步骤得到的伪标签为(1,0,0)，这将导致伪损失函数Q一般低于真实的损失函数Q。图2中的g1和g2分别表示原始帧和压缩帧根据真实标签得到的真实梯度，g3表示压缩过程中损失函数增加的实际速度，我们可以观察到无论是g1还是g2都与g3有着很大差别，而g4是通过伪Q和相同压缩视频帧计算出来的伪梯度，却与实际速度g3更加近似。因此，在实验中，上载压缩后的视频帧进行伪梯度的计算进而生成量化策略，不仅能够避免上载原始视频帧造成额外带宽消耗，而且能够生成更加适合的量化策略。
回顾一下，语义分割结果和空间自适应压缩策略都是云服务器基于上载的关键帧在线生成的，之后反馈给边缘端设备。为了避免由上载、DNN预测以及反馈等整个流程造成的延迟，本发明将每次反馈得到的语义分割结果与压缩策略缓存在边缘端设备以备后续帧使用，在根据视频的时间相关性计算了像素级光流信息之后，通过光流信息将语义分割结果从之前上载帧传播到当前帧，避免整个上载、预测、反馈过程的延时。如果当前帧被选定为需要上载的关键帧，那么压缩策略也将被传播到当前帧。值得注意的是，光流只在相邻的原始帧之间进行计算，以确保准确性，无论是语义分割结果还是压缩策略都是通过相邻帧间的连续传播来实现传播的。
为了判决当前帧是否需要作为关键帧上载，以更新语义分割和压缩策略，我们需要实时判断传播后的语义分割精确性，随着视频内容的不断变化以及传播次数的增多，语义分割的传播误差是不断累积增大的。然而，边缘端设备上没有语义分割标签来测试其精确程度。为了解决这个难题，我们再一次基于密集光流将关键帧的各像素点从之前上载的关键帧传播到当前帧。由于光流信息是一致的，传播的关键帧与传播的语义分割在每个像素上都具备一一对应的关系。因此，我们可以计算传播后的关键帧与当前真实帧之间的相似度(如峰值信号噪声比(PSNR))来衡量失真程度。一旦PSNR低于预先设定的阈值(如26dB)，说明当前传播的语义分割精确性得不到保证，并触发自适应上载机制，以获得新的语义分割结果。自适应上载机制可以根据实时视频内容自主调整上载频率，来确保语义分割的精确性。
由于初始时没有相应的空间自适应压缩策略，因此视频第一帧被选定为关键帧，并采用中间等级的量化表对其进行均匀压缩并上载到云服务器，基于此，对应于第一帧视频的初始空间自适应压缩策略生成并反馈给边缘端设备，之后根据光流信息，压缩策略被传播到后续需要上载的关键帧。例如，前一关键帧R1区域的量化表选择
Figure BDA0003345247380000131
根据光流信息被传播到当前关键帧的R3区域。如果有新的区域出现而没有光流信息覆盖，这些区域会基于就近原则采用最近区域的量化表，这对于语义分割的传播也是类似的，没有光流信息覆盖的像素根据就近原则采用附件像素的语义。根据关键帧的上载和反馈，缓存的语义分割和压缩策略不断被更新。
基于此，如图3所示，本发明提供了一种面向语义分割的云边协同视频压缩上载方法，所述方法应用于边缘端设备，所述方法包括：
将第一帧视频作为关键帧进行压缩并上载到云服务器，使云服务器将接收的上载视频帧输入语义分割DNN，得到语义分割结果并生成对应于所述上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，所述量化表以像素块为单位，每个区域包括多个像素块；
接收所述语义分割结果以及压缩策略，并进行本地缓存；提取视频帧间的光流信息，将缓存的语义分割结果从所述上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；
利用光流信息将所述上载视频帧的各像素传播到当前视频帧，计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
如图4所示，本发明提供了另一种面向语义分割的云边协同视频压缩上载方法，所述方法应用于云端中的任一服务器，所述方法包括：
生成不同等级的量化表，所述量化表以像素块为单位；
接收边缘端设备上载的视频帧并输入语义分割DNN，得到语义分割结果并生成对应于上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，每个区域包括多个像素块；
将所述语义分割结果以及压缩策略反馈至边缘端设备，使边缘端设备在本地缓存所述语义分割结果以及压缩策略，并提取视频帧间的光流信息，将缓存的语义分割结果从上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；以及利用光流信息将所述上载视频帧的各像素传播到当前视频帧，并计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
如图5所示，本发明提供了一种面向语义分割的云边协同视频压缩上载装置500，所述装置应用于边缘端设备，所述装置500包括：
第一处理模块510，用于将第一帧视频作为关键帧进行压缩并上载到云服务器，使云服务器将接收的上载视频帧输入语义分割DNN，得到语义分割结果并生成对应于所述上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，所述量化表以像素块为单位，每个区域包括多个像素块；
第二处理模块520，用于接收所述语义分割结果以及压缩策略，并进行本地缓存；提取视频帧间的光流信息，将缓存的语义分割结果从所述上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；
第三处理模块530，用于利用光流信息将所述上载视频帧的各像素传播到当前视频帧，计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
如图6所示，本发明提供了一种面向语义分割的云边协同视频压缩上载装置600，所述装置应用于云端中的任一服务器，所述装置600包括：
生成模块610，用于生成不同等级的量化表，所述量化表以像素块为单位；
接收模块620，用于接收边缘端设备上载的视频帧并输入语义分割DNN，得到语义分割结果并生成对应于上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，每个区域包括多个像素块；
反馈模块630，用于将所述语义分割结果以及压缩策略反馈至边缘端设备，使边缘端设备在本地缓存所述语义分割结果以及压缩策略，并提取视频帧间的光流信息，将缓存的语义分割结果从上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；以及利用光流信息将所述上载视频帧的各像素传播到当前视频帧，并计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
本实施例中，各模块的具体实施方式，请参考上述方法实施例中的描述，在此将不作复述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种面向语义分割的云边协同视频压缩上载方法，其特征在于，所述方法应用于边缘端设备，所述方法包括：
将第一帧视频作为关键帧进行压缩并上载到云服务器，使云服务器将接收的上载视频帧输入语义分割DNN，得到语义分割结果并生成对应于所述上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，所述量化表以像素块为单位，每个区域包括多个像素块；
其中，不同等级的量化表通过以下步骤生成：
通过遍历的方式获得满足语义分割精度要求的最大DNN损失函数增长上限B0；
以所述B0为中心，获得不同级别的最大DNN损失函数增长上限
Figure FDA0003810539820000011
l为量化等级，L为量化等级总数；
为每个Bl值生成对应的量化表Tl，其中量化间隔
Figure FDA0003810539820000012
M表示随机图像的像素个数，N为一个像素块的像素个数，n∈{1,2,…,N}表示任一个离散余弦变换DCT系数的频率分量，gn表示语义分割DNN对随机图像DCT系数各频率分量的梯度；
所述生成对应于上载视频帧的压缩策略，包括：
计算语义分割DNN相对于上载视频帧所有像素点的离散余弦变换DCT系数的梯度
Figure FDA0003810539820000013
si表示DCT系数；
将上载视频帧的像素平面划分为不同区域
Figure FDA0003810539820000014
计算在每个量化表选择下，每个区域Rr的最大DNN损失函数增长值
Figure FDA0003810539820000015
Figure FDA0003810539820000016
si→n表示上载视频帧的DCT系数相对应的频率，
Figure FDA0003810539820000017
表示量化表中该频率分量的量化间隔；
为每个区域Rr选择
Figure FDA0003810539820000021
值中最接近
Figure FDA0003810539820000022
值所对应的量化表作为最佳量化表，N(Rr)为区域Rr内所包含的像素个数；
接收所述语义分割结果以及压缩策略，并进行本地缓存；提取视频帧间的光流信息，将缓存的语义分割结果从所述上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；
利用光流信息将所述上载视频帧的各像素传播到当前视频帧，计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
2.一种面向语义分割的云边协同视频压缩上载方法，其特征在于，所述方法应用于云端中的任一服务器，所述方法包括：
生成不同等级的量化表，所述量化表以像素块为单位；
其中，所述生成不同等级的量化表，包括：
通过遍历的方式获得满足语义分割精度要求的最大DNN损失函数增长上限B0；
以所述B0为中心，获得不同级别的最大DNN损失函数增长上限
Figure FDA0003810539820000023
l为量化等级，L为量化等级总数；
为每个Bl值生成对应的量化表Tl，其中量化间隔
Figure FDA0003810539820000024
M表示随机图像的像素个数，N为一个像素块的像素个数，n∈{1,2,…,N}表示任一个离散余弦变换DCT系数的频率分量，gn表示语义分割DNN对随机图像DCT系数各频率分量的梯度；
接收边缘端设备上载的视频帧并输入语义分割DNN，得到语义分割结果并生成对应于上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，每个区域包括多个像素块；
其中，所述生成对应于上载视频帧的压缩策略，包括：
计算语义分割DNN相对于上载视频帧所有像素点的离散余弦变换DCT系数的梯度
Figure FDA0003810539820000031
si表示DCT系数；
将上载视频帧的像素平面划分为不同区域
Figure FDA0003810539820000032
计算在每个量化表选择下，每个区域Rr的最大DNN损失函数增长值
Figure FDA0003810539820000033
Figure FDA0003810539820000034
si→n表示上载视频帧的DCT系数相对应的频率，
Figure FDA0003810539820000035
表示量化表中该频率分量的量化间隔；
为每个区域Rr选择
Figure FDA0003810539820000036
值中最接近
Figure FDA0003810539820000037
值所对应的量化表作为最佳量化表，N(Rr)为区域Rr内所包含的像素个数；
将所述语义分割结果以及压缩策略反馈至边缘端设备，使边缘端设备在本地缓存所述语义分割结果以及压缩策略，并提取视频帧间的光流信息，将缓存的语义分割结果从上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；以及利用光流信息将所述上载视频帧的各像素传播到当前视频帧，并计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
3.一种面向语义分割的云边协同视频压缩上载装置，其特征在于，所述装置应用于边缘端设备，所述装置包括：
第一处理模块，用于将第一帧视频作为关键帧进行压缩并上载到云服务器，使云服务器将接收的上载视频帧输入语义分割DNN，得到语义分割结果并生成对应于所述上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，所述量化表以像素块为单位，每个区域包括多个像素块；
其中，不同等级的量化表通过以下步骤生成：
通过遍历的方式获得满足语义分割精度要求的最大DNN损失函数增长上限B0；
以所述B0为中心，获得不同级别的最大DNN损失函数增长上限
Figure FDA0003810539820000041
l为量化等级，L为量化等级总数；
为每个Bl值生成对应的量化表Tl，其中量化间隔
Figure FDA0003810539820000042
M表示随机图像的像素个数，N为一个像素块的像素个数，n∈{1,2,…,N}表示任一个离散余弦变换DCT系数的频率分量，gn表示语义分割DNN对随机图像DCT系数各频率分量的梯度；
所述生成对应于上载视频帧的压缩策略，包括：
计算语义分割DNN相对于上载视频帧所有像素点的离散余弦变换DCT系数的梯度
Figure FDA0003810539820000043
si表示DCT系数；
将上载视频帧的像素平面划分为不同区域
Figure FDA0003810539820000044
计算在每个量化表选择下，每个区域Rr的最大DNN损失函数增长值
Figure FDA0003810539820000045
Figure FDA0003810539820000046
si→n表示上载视频帧的DCT系数相对应的频率，
Figure FDA0003810539820000047
表示量化表中该频率分量的量化间隔；
为每个区域Rr选择
Figure FDA0003810539820000048
值中最接近
Figure FDA0003810539820000049
值所对应的量化表作为最佳量化表，N(Rr)为区域Rr内所包含的像素个数；
第二处理模块，用于接收所述语义分割结果以及压缩策略，并进行本地缓存；提取视频帧间的光流信息，将缓存的语义分割结果从所述上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；
第三处理模块，用于利用光流信息将所述上载视频帧的各像素传播到当前视频帧，计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
4.一种面向语义分割的云边协同视频压缩上载装置，其特征在于，所述装置应用于云端中的任一服务器，所述装置包括：
生成模块，用于生成不同等级的量化表，所述量化表以像素块为单位；
其中，所述生成不同等级的量化表，包括：
通过遍历的方式获得满足语义分割精度要求的最大DNN损失函数增长上限B0；
以所述B0为中心，获得不同级别的最大DNN损失函数增长上限
Figure FDA0003810539820000051
l为量化等级，L为量化等级总数；
为每个Bl值生成对应的量化表Tl，其中量化间隔
Figure FDA0003810539820000052
M表示随机图像的像素个数，N为一个像素块的像素个数，n∈{1,2,…,N}表示任一个离散余弦变换DCT系数的频率分量，gn表示语义分割DNN对随机图像DCT系数各频率分量的梯度；
接收模块，用于接收边缘端设备上载的视频帧并输入语义分割DNN，得到语义分割结果并生成对应于上载视频帧的压缩策略，所述压缩策略为所述上载视频帧像素平面中每个区域所选择的量化表等级，每个区域包括多个像素块；
其中，所述生成对应于上载视频帧的压缩策略，包括：
计算语义分割DNN相对于上载视频帧所有像素点的离散余弦变换DCT系数的梯度
Figure FDA0003810539820000053
si表示DCT系数；
将上载视频帧的像素平面划分为不同区域
Figure FDA0003810539820000054
计算在每个量化表选择下，每个区域Rr的最大DNN损失函数增长值
Figure FDA0003810539820000055
Figure FDA0003810539820000056
si→n表示上载视频帧的DCT系数相对应的频率，
Figure FDA0003810539820000057
表示量化表中该频率分量的量化间隔；
为每个区域Rr选择
Figure FDA0003810539820000058
值中最接近
Figure FDA0003810539820000059
值所对应的量化表作为最佳量化表，N(Rr)为区域Rr内所包含的像素个数；
反馈模块，用于将所述语义分割结果以及压缩策略反馈至边缘端设备，使边缘端设备在本地缓存所述语义分割结果以及压缩策略，并提取视频帧间的光流信息，将缓存的语义分割结果从上载视频帧传播到当前视频帧，未被光流覆盖的像素点根据就近原则判定语义；以及利用光流信息将所述上载视频帧的各像素传播到当前视频帧，并计算传播后的视频帧与当前真实视频帧之间的峰值信噪比，当所述峰值信噪比小于预设阈值时，将当前视频帧判定为关键帧，并利用光流信息将缓存的压缩策略传播到关键帧进行上载，未被光流覆盖的像素块根据就近原则使用压缩策略。
5.一种电子设备，其特征在于，包括：
处理器、存储器和总线；
所述总线，用于连接所述处理器和所述存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行权利要求1或2所述的面向语义分割的云边协同视频压缩上载方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行权利要求1或2所述的面向语义分割的云边协同视频压缩上载方法。
CN202111320006.3A 2021-11-09 2021-11-09 一种面向语义分割的云边协同视频压缩上载方法及装置 Active CN114143541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111320006.3A CN114143541B (zh) 2021-11-09 2021-11-09 一种面向语义分割的云边协同视频压缩上载方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111320006.3A CN114143541B (zh) 2021-11-09 2021-11-09 一种面向语义分割的云边协同视频压缩上载方法及装置

Publications (2)

Publication Number Publication Date
CN114143541A CN114143541A (zh) 2022-03-04
CN114143541B true CN114143541B (zh) 2023-02-14

Family

ID=80393377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111320006.3A Active CN114143541B (zh) 2021-11-09 2021-11-09 一种面向语义分割的云边协同视频压缩上载方法及装置

Country Status (1)

Country Link
CN (1) CN114143541B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116321289B (zh) * 2023-02-22 2023-10-17 北纬实捌(海口)科技有限公司 无线传输数据包长转换系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753913A (zh) * 2018-12-28 2019-05-14 东南大学 计算高效的多模式视频语义分割方法
CN109919044A (zh) * 2019-02-18 2019-06-21 清华大学 基于预测进行特征传播的视频语义分割方法及装置
CN112702607A (zh) * 2020-12-25 2021-04-23 深圳大学 一种基于光流决策的智能视频压缩方法及装置
EP3896651A1 (en) * 2020-04-15 2021-10-20 Volkswagen Ag Method and apparatus for evaluating temporal characteristics of semantic image segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753913A (zh) * 2018-12-28 2019-05-14 东南大学 计算高效的多模式视频语义分割方法
CN109919044A (zh) * 2019-02-18 2019-06-21 清华大学 基于预测进行特征传播的视频语义分割方法及装置
EP3896651A1 (en) * 2020-04-15 2021-10-20 Volkswagen Ag Method and apparatus for evaluating temporal characteristics of semantic image segmentation
CN112702607A (zh) * 2020-12-25 2021-04-23 深圳大学 一种基于光流决策的智能视频压缩方法及装置

Also Published As

Publication number Publication date
CN114143541A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
Liu et al. Dare: Dynamic adaptive mobile augmented reality with edge computing
CN112422644B (zh) 计算任务卸载方法及系统、电子设备和存储介质
CN110795235B (zh) 一种移动web深度学习协作的方法及系统
CN114143541B (zh) 一种面向语义分割的云边协同视频压缩上载方法及装置
WO2022000298A1 (en) Reinforcement learning based rate control
CN112511336A (zh) 一种边缘计算系统中的在线服务放置方法
CN112561840A (zh) 视频裁剪方法、装置、存储介质及电子设备
CN114528987A (zh) 一种神经网络边缘-云协同计算分割部署方法
CN113238989A (zh) 将数据进行量化的设备、方法及计算机可读存储介质
CN114065900A (zh) 数据处理方法和数据处理装置
Kerfa et al. An efficient algorithm for fast block matching motion estimation using an adaptive threshold scheme
CN110211017B (zh) 图像处理方法、装置及电子设备
CN112989251B (zh) 一种基于协同计算的移动Web增强现实3D模型数据服务方法
Betka et al. A new block matching algorithm based on stochastic fractal search
CN108770014B (zh) 网络服务器的计算评估方法、系统、装置及可读存储介质
CN116306981A (zh) 策略确定方法、装置、介质及电子设备
CN116090543A (zh) 模型压缩方法及装置、计算机可读介质和电子设备
CN115983372A (zh) 一种神经网络训练方法、装置、计算设备及存储介质
Wei et al. Joint reinforcement learning and game theory bitrate control method for 360-degree dynamic adaptive streaming
CN113504986A (zh) 基于缓存的边缘计算系统卸载方法、装置、设备及介质
CN113238988A (zh) 优化深度神经网络的参数的处理系统、集成电路及板卡
CN113238975A (zh) 优化深度神经网络的参数的内存、集成电路及板卡
CN116521377B (zh) 业务计算卸载方法、系统、装置、设备及介质
US20240137594A1 (en) Video definition grade determining method and apparatus, server, storage medium and system
Li et al. JUST360: Optimizing 360-Degree Video Streaming Systems With Joint Utility

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant