CN113191945A - 一种面向异构平台的高能效图像超分辨率系统及其方法 - Google Patents

一种面向异构平台的高能效图像超分辨率系统及其方法 Download PDF

Info

Publication number
CN113191945A
CN113191945A CN202011393249.5A CN202011393249A CN113191945A CN 113191945 A CN113191945 A CN 113191945A CN 202011393249 A CN202011393249 A CN 202011393249A CN 113191945 A CN113191945 A CN 113191945A
Authority
CN
China
Prior art keywords
super
resolution
model
image
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011393249.5A
Other languages
English (en)
Other versions
CN113191945B (zh
Inventor
任杰
郝宇梦
马苗
田丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN202011393249.5A priority Critical patent/CN113191945B/zh
Publication of CN113191945A publication Critical patent/CN113191945A/zh
Application granted granted Critical
Publication of CN113191945B publication Critical patent/CN113191945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种面向异构平台的高能效图像超分辨率系统，包括有超分辨率模型压缩模块、图片质量评估模块、设备性能评估模块、剪枝模块以及超分辨率任务调度模块；其方法包括以下步骤：将一组超分辨率模型按照不同参数进行压缩，获得一组压缩后的超分辨率模型，将图像训练数据集分别输入压缩后的模型中，获得模型推理时间和经过超分辨率处理后的图像质量；进一步训练不同压缩参数下当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，选择PSNR和延迟最优的超分辨率模型，将其部署到对应设备中；预测当前任务推理时间和PSNR值，选择满足时延需求且能提供最高PSNR的模型，将任务调度到该模型中进行超分辨率处理；具有提供低延迟和高质量的图像处理服务的特点。

Description

一种面向异构平台的高能效图像超分辨率系统及其方法
技术领域
本发明属于普适计算、移动计算以及计算机视觉技术领域，具体涉及一种面向异构平台的高能效图像超分辨率系统及其方法。
背景技术
卷积神经网络(CNNs)的快速发展使其在超分辨率(SR)计算机视觉任务中的性能得到了显著提高。超分辨率网络能够处理低分辨率图像，并产生分辨率显著提高的输出。这一特性使得由卷积神经网络驱动的超分辨率成为在移动和家庭设备(包括移动电话、电子相框和电视)上构建新应用程序的可行技术。尽管它的性能良好，最先进的超分辨率网络还是带来了重大的部署挑战。为了提高低分辨率的图像，超分辨率模型经常在它们的层之间传播大空间维度的特征映射，导致过多的操作次数和运行时的存储需求。目前，为了缓解这种计算障碍，服务提供商通常会采用云计算解决方案。在这种设置下，应用程序收集帧并将它们传输到基础服务器，在基础服务器中，强大的服务器级机器执行超分辨率。然而，在延迟和隐私敏感的应用中，云计算的高响应时间和安全风险是不能被容忍的。此外，对持续的网络连接的需求、云交换数据的电力消耗开销以及托管数据中心的成本也是对其应用的阻碍。因此，需要开发一些方法和系统，通过使用本地设备处理执行超分辨率网络，来减轻基于云计算的限制。
然而，由于超分辨率网络在计算上非常昂贵，使用设备上的资源实现30帧/秒的图像分辨率是不切实际的。例如，像像素为3的移动数码相机，它能够捕捉和传输极高分辨率的图像，通过本地运行超分辨率网络来实现这样的实时分辨率在目前是不现实的。因此，移动设备上超分辨率常见的现实应用，比如变焦，都是以图像为中心，而不是以视频为中心。移动超分辨率的另一个实际应用涉及到保存数据。流行的社交媒体网络，如Facebook、推特、ins、微博，以及消息应用，如微信、QQ，都是大量使用图片的应用，用户在滚动页面查看内容或发送信息时，会不断使用数据。考虑到像Facebook Lite这样的数据保存替代品的流行，使得设备能够下载用户的所浏览的内容和消息的低分辨率图片，并在本地提高这些图片分辨率的功能不仅可行，而且很受欢迎。此外，将加载浏览的图片所需的网络带宽降至最低，可以让应用程序在恶劣的网络条件下更具响应能力，并在云连通性较差的地区运行。
发明内容
为克服上述现有技术的不足，本发明的目的在于提供一种面向异构平台的高能效图像超分辨率系统及其方法，具有为用户提供低延迟和高质量（达到图像质量和处理速度均衡）的图像处理服务的特点。
为实现上述目的，本发明采用的技术方案是：一种面向异构平台的高能效图像超分辨率系统，包括有超分辨率模型压缩模块、图片质量评估模块、设备性能评估模块、剪枝模块以及超分辨率任务调度模块；
所述的超分辨率模型压缩模块用于减小当前过于庞大的超分辨率模型的规模，提高效率；
所述的图片质量评估模块通过图像的性能指标对图像质量做出评估；
所述的设备性能评估模块，通过图像训练集在不同设备、不同模型上的推理时间对设备做出评估；
所述的剪枝模块将图片质量评估器输出的经过超分辨率处理后的图像质量和设备性能评估器输出的推理时间作为输入，以PSNR和推理时间作为评判标准，训练不同压缩参数下当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，并基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中；
所述的超分辨率任务调度模块，在基于设备性能完成不同计算平台上超分辨率模型部署之后，输入图像任务，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。
所述的超分辨率模型压缩模块，该模块为减小当前过于庞大的超分辨率模型的规模，以提高效率，在超分辨率网络上应用一组转换，将一组超分辨率模型按照不同参数进行压缩后，获得一组压缩后的超分辨率模型，将图像训练数据集分别输入压缩后的模型中，为下一步做准备。
所述的图片质量评估模块，在图像训练数据集分别输入到压缩后的模型中后，训练图像训练数据集，并对压缩后的模型进行评估，评估标准是常见的图片性能评估指标峰值信噪比PSNR，输出图像训练数据集经过超分辨率处理后的图像质量，该模块输入的验证集用于之后测试模型性能。
所述的设备性能评估模块，在图像训练数据集分别输入到压缩后的模型中后，在不同设备上多次训练图像数据训练集，并对压缩后的模型进行评估，输出在不同设备下，图像训练数据集在不同模型下的推理时间。
所述的剪枝模块，将输出模型的图像质量以及输出模型的推理时间作为剪枝的参考标准，训练不同压缩参数下的当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中。
所述的超分辨率任务调度模块，在基于设备的性能完成不同计算平台上超分辨率模型的部署之后，输入低清图像任务，通过图片质量评估器获取图像任务的图片质量（评估标准是常见的图片性能评估指标峰值信噪比PSNR），通过设备性能评估器获取图像任务的推理时间，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求，选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。
利用权利要求1所述的一种面向异构平台的高能效图像超分辨率系统进行超分辨率处理的方法，包括以下步骤：该系统通过将超分辨率模型按照不同压缩参数进行裁剪，并基于设备性能部署到不同的计算平台中（移动手机，FPGA，服务器），
步骤1，超分辨率模型压缩模块在超分辨率网络上应用一组转换，将一组超分辨率模型按照不同参数进行压缩后，获得一组压缩后的超分辨率模型，将图像训练数据集分别输入压缩后的模型中，为下一步做准备；
步骤2，接着将图像训练集和模型压缩变体分别输入到图片质量评估模块和设备性能评估模块进行评估；
步骤3，图片质量评估模块对输入的图像训练数据集和模型压缩变体进行评估，评估标准是常见的图片性能评估指标峰值信噪比PSNR，输出图片训练数据集在不同模型下经过超分辨率处理后的图像质量；
步骤4，设备性能评估模块对输入的图像训练数据集和模型压缩变体在不同的设备上多次训练，进行评估，输出在不同设备上图像训练集在不同模型下的推理时间；
步骤5，执行剪枝模块，将图片质量评估器输出的经过超分辨率处理后的图像质量（评估标准是常见的图片性能评估指标峰值信噪比PSNR）和设备性能评估器输出的推理时间作为输入，以PSNR和推理时间作为评判标准，训练不同压缩参数下的当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中，已筛选出高效的模型及其对应的设备完成模型部署，接着执行超分辨率任务调度模块，在基于设备性能完成不同计算平台上超分辨率模型部署之后，输入图像任务，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。
本发明核心为剪枝模块和超分辨率任务调度模块，帕累托最优原则是其中最重要的依据。剪枝模块中进行模型裁剪并保留帕累托最优模型，完成模型在不同设备的部署。超分辨率任务调度模块根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。具体来说，该系统将一组超分辨率深度模型按照不同参数进行压缩后，获得一组压缩后的超分辨率模型，将图像训练数据集分别输入压缩后的模型中，并获得模型推理时间和经过超分辨率处理后的图像质量。进一步训练不同压缩参数下当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，并基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中。最后，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。该系统旨在以最小的处理延迟满足所需的图像质量，为用户提供高效率的设备上超分辨率服务。
通过上述技术方案，可以选择出满足用户观感和和延迟等要求的图像处理方案以及满足图片质量与速度之间的均衡。低清图可以根据不同情况分别在服务器、边缘设备以及移动设备上进行高清处理，在用户承受范围以及最小延迟时间内，实现一种面向异构平台的高能效图像超分辨率系统。
综上所述，本发明具有以下有益效果：
1）通过设置超分辨率模型压缩模块，可以减小当前过于庞大的超分辨率模型的规模，从而提高效率。
2）通过设置图片质量评估模块和设备性能评估模块，对图像训练数据集在不同设备和不同模型压缩变体训练的性能结果进行评估，输出经过超分辨率处理后的图像质量和推理时间，这是筛选出高效的模型很重要的一步，同时也是作为之后核心步骤的评判参考标准。
3）通过设置剪枝模块------能够高效进行模型调度最为关键的一步，通过训练不同压缩参数下当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中，从而更好地对模型进行调度，实现高能效图像超分辨率系统。
4）通过设置超分辨率任务调度模块，在基于设备性能完成不同计算平台上超分辨率模型部署之后，输入图像任务，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。详细地根据用户需求、当前图像质量以及任务推理时间对任务进行了细致地调度分派，保证任务能够准确地被分派到当下最优的计算平台及对应的最优模型上，达到图像质量与速度的均衡，真正实现了一种面向异构平台的高能效图像超分辨率系统。本发明发明解决了移动设备上低清图像无法满足应用程序或用户对图像清晰度要求的问题。
附图说明
图1为本发明一种面向异构平台的高能效图像超分辨率系统的流程示意图。
具体实施方式
下面通过具体实施例对本发明作进一步详细说明。
一种面向异构平台的高能效图像超分辨率系统，如图1所示，包括有超分辨率模型压缩模块、图片质量评估模块、设备性能评估模块、剪枝模块以及超分辨率任务调度模块；所述超分辨率模型压缩模块在给定的超分辨率网络上应用一组转换将超分辨率深度模型按照不同的参数压缩为不同的压缩变体，用于减小当前过于庞大的超分辨率模型的规模，提高效率；所述图片质量评估模块在输入的图像训练数据集在模型压缩变体上训练后通过图像的性能指标(如PSNR)对图像质量做出评估；所述设备性能评估模块通过图像训练数据集在不同设备、不同模型上的推理时间对设备做出评估；所述剪枝模块根据图片质量评估器和设备性能评估器分别输出的PSNR和推理时间作为输入，以此作为评判标准，训练不同压缩参数下当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中；所述超分辨率任务调度模块在基于设备性能完成不同计算平台上超分辨率模型部署之后，输入图像任务，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。
所述的超分辨率模型压缩模块，该模块为减小当前过于庞大的超分辨率模型的规模以提高效率，在超分辨率网络上应用一组转换，将一组超分辨率模型按照不同参数进行压缩后，获得一组压缩后的超分辨率模型，将图像训练数据集分别输入压缩后的模型中，为下一步做准备。
所述的图片质量评估模块，在图像训练数据集分别输入到压缩后的模型中后，训练图像训练数据集，并对压缩后的模型进行评估，评估标准是常见的图片性能评估指标峰值信噪比PSNR，输出图像训练数据集经过超分辨率处理后的图像质量，该模块输入的验证集用于之后测试模型性能。
所述的设备性能评估模块，在图像训练数据集分别输入到压缩后的模型中后，在不同设备上多次训练图像数据训练集，并对压缩后的模型进行评估，输出在不同设备下，图像训练数据集在不同模型下的推理时间。
所述的剪枝模块，将输出模型的图像质量以及输出模型的推理时间作为剪枝的参考标准，训练不同压缩参数下当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中。
所述的超分辨率任务调度模块，在基于设备性能完成不同计算平台上超分辨率模型部署之后，输入低清图像任务，通过图片质量评估器获取图像任务的图片质量（评估标准是常见的图片性能评估指标峰值信噪比PSNR），通过设备性能评估器获取图像任务的推理时间，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。
利用权利要求1所述的一种面向异构平台的高能效图像超分辨率系统进行超分辨率处理的方法，包括以下步骤：该系统通过将超分辨率模型按照不同压缩参数进行裁剪，并基于设备性能部署到不同的计算平台中（移动手机，FPGA，服务器），
步骤1，超分辨率模型压缩模块在超分辨率网络上应用一组转换，将一组超分辨率模型按照不同参数进行压缩后，获得一组压缩后的超分辨率模型，将图像训练数据集分别输入压缩后的模型中，为下一步做准备；
步骤2，接着将图像训练集和模型压缩变体分别输入到图片质量评估模块和设备性能评估模块进行评估；
步骤3，图片质量评估模块对输入的图像训练数据集和模型压缩变体进行评估，评估标准是常见的图片性能评估指标峰值信噪比PSNR，输出图片训练数据集在不同模型下经过超分辨率处理后的图像质量；
步骤4，设备性能评估模块对输入的图像训练数据集和模型压缩变体在不同的设备上多次训练，进行评估，输出在不同设备上图像训练集在不同模型下的推理时间(latency)；
步骤5，执行剪枝模块，将图片质量评估器输出的经过超分辨率处理后的图像质量（评估标准是常见的图片性能评估指标峰值信噪比PSNR）和设备性能评估器输出的推理时间作为输入，以PSNR和推理时间作为评判标准，训练不同压缩参数下当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中，已筛选出高效的模型及其对应的设备完成模型部署，接着执行超分辨率任务调度模块，在基于设备性能完成不同计算平台上超分辨率模型部署之后，输入图像任务，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种面向异构平台的高能效图像超分辨率系统，其特征在于，包括有超分辨率模型压缩模块、图片质量评估模块、设备性能评估模块、剪枝模块以及超分辨率任务调度模块；
所述的超分辨率模型压缩模块用于减小当前过于庞大的超分辨率模型的规模，提高效率；
所述的图片质量评估模块通过图像的性能指标对图像质量做出评估；
所述的设备性能评估模块，通过图像训练集在不同设备、不同模型上的推理时间对设备做出评估；
所述的剪枝模块将图片质量评估器输出的经过超分辨率处理后的图像质量和设备性能评估器输出的推理时间作为输入，以PSNR和推理时间作为评判标准，训练不同压缩参数下当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，并基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中；
所述的超分辨率任务调度模块，在基于设备性能完成不同计算平台上超分辨率模型部署之后，输入图像任务，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。
2.根据权利要求1所述的一种面向异构平台的高能效图像超分辨率系统，其特征在于，所述的超分辨率模型压缩模块，该模块为减小当前过于庞大的超分辨率模型的规模，以提高效率，在超分辨率网络上应用一组转换，将一组超分辨率模型按照不同参数进行压缩后，获得一组压缩后的超分辨率模型，将图像训练数据集分别输入压缩后的模型中，为下一步做准备。
3.根据权利要求1所述的一种面向异构平台的高能效图像超分辨率系统，其特征在于，所述的图片质量评估模块，在图像训练数据集分别输入到压缩后的模型中后，训练图像训练数据集，并对压缩后的模型进行评估，评估标准是常见的图片性能评估指标峰值信噪比PSNR，输出图像训练数据集经过超分辨率处理后的图像质量，该模块输入的验证集用于之后测试模型性能。
4.根据权利要求1所述一种面向异构平台的高能效图像超分辨率系统，其特征在于，所述的设备性能评估模块，在图像训练数据集分别输入到压缩后的模型中后，在不同设备上多次训练图像数据训练集，并对压缩后的模型进行评估，输出在不同设备下，图像训练数据集在不同模型下的推理时间。
5.根据权利要求1所述的一种面向异构平台的高能效图像超分辨率系统，其特征在于，所述的剪枝模块，将输出模型的图像质量以及输出模型的推理时间作为剪枝的参考标准，训练不同压缩参数下的当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中。
6.根据权利要求1所述的一种面向异构平台的高能效图像超分辨率系统，其特征在于，所述的超分辨率任务调度模块，在基于设备的性能完成不同计算平台上超分辨率模型的部署之后，输入低清图像任务，通过图片质量评估器获取图像任务的图片质量，通过设备性能评估器获取图像任务的推理时间，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求，选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。
7.利用权利要求1所述的一种面向异构平台的高能效图像超分辨率系统进行超分辨率处理的方法，其特征在于，包括以下步骤：
步骤1，超分辨率模型压缩模块在超分辨率网络上应用一组转换，将一组超分辨率模型按照不同参数进行压缩后，获得一组压缩后的超分辨率模型，将图像训练数据集分别输入压缩后的模型中，为下一步做准备；
步骤2，接着将图像训练集和模型压缩变体分别输入到图片质量评估模块和设备性能评估模块进行评估；
步骤3，图片质量评估模块对输入的图像训练数据集和模型压缩变体进行评估，评估标准是常见的图片性能评估指标峰值信噪比PSNR，输出图片训练数据集在不同模型下经过超分辨率处理后的图像质量；
步骤4，设备性能评估模块对输入的图像训练数据集和模型压缩变体在不同的设备上多次训练，进行评估，输出在不同设备上图像训练集在不同模型下的推理时间；
步骤5，执行剪枝模块，将图片质量评估器输出的经过超分辨率处理后的图像质量和设备性能评估器输出的推理时间作为输入，以PSNR和推理时间作为评判标准，训练不同压缩参数下的当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中，已筛选出高效的模型及其对应的设备完成模型部署，接着执行超分辨率任务调度模块，在基于设备性能完成不同计算平台上超分辨率模型部署之后，输入图像任务，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。
CN202011393249.5A 2020-12-03 2020-12-03 一种面向异构平台的高能效图像超分辨率系统及其方法 Active CN113191945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011393249.5A CN113191945B (zh) 2020-12-03 2020-12-03 一种面向异构平台的高能效图像超分辨率系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011393249.5A CN113191945B (zh) 2020-12-03 2020-12-03 一种面向异构平台的高能效图像超分辨率系统及其方法

Publications (2)

Publication Number Publication Date
CN113191945A true CN113191945A (zh) 2021-07-30
CN113191945B CN113191945B (zh) 2023-10-27

Family

ID=76972788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011393249.5A Active CN113191945B (zh) 2020-12-03 2020-12-03 一种面向异构平台的高能效图像超分辨率系统及其方法

Country Status (1)

Country Link
CN (1) CN113191945B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806044A (zh) * 2021-08-31 2021-12-17 天津大学 一种用于计算机视觉应用的异构平台任务瓶颈消除方法
GB2611177A (en) * 2021-08-25 2023-03-29 Beijing Baidu Netcom Sci & Tech Co Ltd Multi-task deployment method and electronic device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20190206026A1 (en) * 2018-01-02 2019-07-04 Google Llc Frame-Recurrent Video Super-Resolution
CN110177282A (zh) * 2019-05-10 2019-08-27 杭州电子科技大学 一种基于srcnn的帧间预测方法
CN110443172A (zh) * 2019-07-25 2019-11-12 北京科技大学 一种基于超分辨率和模型压缩的目标检测方法及系统
WO2020098449A1 (zh) * 2018-11-15 2020-05-22 华南理工大学 一种基于哈达玛变换的单幅图像超分辨率方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20190206026A1 (en) * 2018-01-02 2019-07-04 Google Llc Frame-Recurrent Video Super-Resolution
WO2020098449A1 (zh) * 2018-11-15 2020-05-22 华南理工大学 一种基于哈达玛变换的单幅图像超分辨率方法
CN110177282A (zh) * 2019-05-10 2019-08-27 杭州电子科技大学 一种基于srcnn的帧间预测方法
CN110443172A (zh) * 2019-07-25 2019-11-12 北京科技大学 一种基于超分辨率和模型压缩的目标检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
罗莉莎;钟嘉桐;王树同;陈龙;邵文泽;: "道路监控视频低清人脸重建与识别方法研究", 计算机时代, no. 01 *
谢朋言;: "基于深度学习的快速图像超分辨率方法", 舰船电子对抗, no. 02 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2611177A (en) * 2021-08-25 2023-03-29 Beijing Baidu Netcom Sci & Tech Co Ltd Multi-task deployment method and electronic device
CN113806044A (zh) * 2021-08-31 2021-12-17 天津大学 一种用于计算机视觉应用的异构平台任务瓶颈消除方法
CN113806044B (zh) * 2021-08-31 2023-11-07 天津大学 一种用于计算机视觉应用的异构平台任务瓶颈消除方法

Also Published As

Publication number Publication date
CN113191945B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
JP2019512938A (ja) 量子化パラメータに基づくビデオ処理のためのシステム及び方法
CN111681167A (zh) 画质调整方法和装置、存储介质及电子设备
Yi et al. Supremo: Cloud-assisted low-latency super-resolution in mobile devices
CN113191945B (zh) 一种面向异构平台的高能效图像超分辨率系统及其方法
US20220236782A1 (en) System and method for intelligent multi-application and power management for multimedia collaboration applications
US20230023369A1 (en) Video processing method, video processing apparatus, smart device, and storage medium
US8582876B2 (en) Hybrid codec for compound image compression
WO2023131076A2 (zh) 视频处理方法、装置及系统
CN113766269B (zh) 视频缓存策略确定、视频数据处理方法、装置及存储介质
Bouaafia et al. Deep learning-based video quality enhancement for the new versatile video coding
CN114679607A (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
Zhu et al. A semantic-aware transmission with adaptive control scheme for volumetric video service
CN1527968A (zh) 运行媒体应用的方法及具有作业控制的媒体系统
CN114202463B (zh) 面向云端融合的视频超分辨率方法及系统
Zhang et al. Mfvp: Mobile-friendly viewport prediction for live 360-degree video streaming
CN116567346A (zh) 视频处理方法、装置、存储介质及计算机设备
CN114761968B (zh) 用于频域静态通道滤波的方法、系统和存储介质
Huang et al. Edge device-based real-time implementation of CycleGAN for the colorization of infrared video
CN111815502B (zh) 基于WebP压缩算法的多图处理的FPGA加速方法
CN113996056A (zh) 云游戏的数据发送和接收方法以及相关设备
Galanis et al. Edge computing and efficient resource management for integration of video devices in smart grid deployments
Wang et al. DeepAdaIn-Net: Deep Adaptive Device-Edge Collaborative Inference for Augmented Reality
CN117014659B (zh) 一种视频转码方法、装置、电子设备和存储介质
Xie et al. Bandwidth-Aware Adaptive Codec for DNN Inference Offloading in IoT
Assine et al. Slimmable Encoders for Flexible Split DNNs in Bandwidth and Resource Constrained IoT Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant