CN112967188A - 结合结构化语义码流的空间自适应图像超分辨重建方法 - Google Patents

结合结构化语义码流的空间自适应图像超分辨重建方法 Download PDF

Info

Publication number
CN112967188A
CN112967188A CN202110240723.9A CN202110240723A CN112967188A CN 112967188 A CN112967188 A CN 112967188A CN 202110240723 A CN202110240723 A CN 202110240723A CN 112967188 A CN112967188 A CN 112967188A
Authority
CN
China
Prior art keywords
resolution
image
code stream
super
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110240723.9A
Other languages
English (en)
Other versions
CN112967188B (zh
Inventor
陈志波
金鑫
孙思萌
冯若愚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110240723.9A priority Critical patent/CN112967188B/zh
Publication of CN112967188A publication Critical patent/CN112967188A/zh
Application granted granted Critical
Publication of CN112967188B publication Critical patent/CN112967188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种结合结构化语义码流的空间自适应图像超分辨重建方法，针对现有的基于参考的图像超分辨任务，利用支持机器智能的编码框架中包含的语义结构化码流，为LR低分辨率图像中不同区域、不同语义部分的信息提供准确的高分辨参考指导，从而提高图像超分辨的重建效果，支持有针对性的、特定区域/特定物体超分辨等未来可能的需求。

Description

结合结构化语义码流的空间自适应图像超分辨重建方法
技术领域
本发明涉及图像超分辨技术领域，尤其涉及一种结合结构化语义码流的空间自适应图像超分辨重建方法。
背景技术
目前在工业界中，除了利用SISR(Single image super resolution，单图超分辨)技术进行图像超分辨重建之外，还出现了基于参考的图像超分辨重建RefSR(Reference-based super-resolution)。
SISR主要是利用了LR-HR(low-resolution--high-resolution，低分辨率图像-高分辨率图像)训练对，但当需要重建的高分辨率图像高于输入的低分辨率图像达到8倍或者以上时，效果往往差强人意Zheng H,Ji M,Wang H,et al.Crossnet:An end-to-endreference-based super resolution network using cross-scale warping[C]//Proceedings of the European Conference on Computer Vision(ECCV).2018:88-104.)。
因此，基于参考的图像超分辨RefSR被提出，它除了LR-HR训练对之外，还通过数据检索，从大数据库中引入了和低分辨率图像(LR)相似的高分辨率参考图像。引入高分辨率参考图像的目的在于，在对低分辨率图像进行超分重建时，能够利用高分辨率参考图像的细节进行重建指导，如何实现语义级别的匹配，成为做好基于参考的图像超分辨的关键；但是，目前语义级别的匹配方案过程较为复杂，匹配结果的准确度也有待提升。
发明内容
本发明的目的是提供一种结合结构化语义码流的空间自适应图像超分辨重建方法，利用面向智能的结构化码流编码方案，将会得到方便检索的结构化语义码流，能够为超分辨提供更加可靠、更加多元的高分辨率参考指导。
本发明的目的是通过以下技术方案实现的：
一种结合结构化语义码流的空间自适应图像超分辨重建方法，包括：
利用支持机器智能的编码框架将低分辨率图像进行压缩编码，得到语义结构化码流；
根据语义结构化码流中不同物体或者区域的语义，在云端数据库上进行图像检索，得到相同语义的高分辨率图像；
基于检索到的高分辨率图像提供的参考指导，为语义结构化码流中相同语义的物体或者区域进行自适应超分辨重建。
由上述本发明提供的技术方案可以看出，针对现有的基于参考的图像超分辨任务，利用支持机器智能的编码框架中包含的语义结构化码流，为LR低分辨率图像中不同区域、不同语义部分的信息提供准确的高分辨参考指导，从而提高图像超分辨的重建效果，支持有针对性的、特定区域/特定物体超分辨等未来可能的需求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种结合结构化语义码流的空间自适应图像超分辨重建方法的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
随着边缘计算和终端智能技术的发展，更多的机器智能分析期望能够直接在边缘服务器或者终端设备上对视频/图像进行处理分析，因此面向机器的编码方法正在被广泛研究。此编码框架编码后码流中包含对机器智能分析有用的结构化语义内容，可以直接用于机器智能分析的任务中，不必恢复压缩的视频/图像，因此可以减少计算时延，提高处理效率(例如：一种任务驱动的码流结构化图像编码方法，支持机器智能的通用视频压缩编码方法)。受此启发，本发明实施例提供一种结合结构化语义码流的空间自适应图像超分辨重建方法，基于参考的图像超分辨技术直接利用支持机器智能的编码框架中包含的结构化语义码流，来提供准确且高效的语义匹配指导，从而实现高性能、高通用性的、具有空间自适性的参考图像超分辨。
下面介绍如何利用支持机器智能的编码框架中包含的结构化语义码流，为待超分的低分辨率图像LR提供有针对性的、空间自适应的、准确的高分辨参考信息指导。如图1所示，该方法主要包括：
首先，利用支持机器智能的编码框架将低分辨率图像进行压缩编码，得到语义结构化码流。
区别于传统基于参考的图像超分辨技术，本发明利用支持机器智能的编码框架所包含的结构化语义码流，进行基于参考的空间自适应图像超分辨。其中，支持机器智能的编码框架可以采用常规技术实现，例如：1)一种任务驱动的码流结构化图像编码方法；2)支持机器智能的通用视频压缩编码方法；3)He T,Sun S,Guo Z,et al.Beyond coding:Detection-driven image compression with semantically structured bit-stream[C]//2019 Picture Coding Symposium(PCS).IEEE,2019:1-5.
同时，区别于传统视频编码框架的编码模式，本发明利用支持机器智能的编码框架将低分辨率图像进行压缩编码。例如，支持主流的基于变分自编码器(BalléJ,Minnen D,Singh S,et al.Variational image compression with a scale hyperprior[J].ICLR,2018.)和循环递归网络(Toderici G,Vincent D,Johnston N,et al.Full resolutionimage compression with recurrent neural networks[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2017:5306-5314.)的深度神经网络压缩模型。
本发明实施例中，压缩编码时，编码处理单元的划分在像素域进行，或者在隐变量域进行，从而得到图1所示的语义结构化码流。
然后，根据语义结构化码流中不同物体或者区域的语义，在云端数据库上进行图像检索，得到相同语义的高分辨率图像，为待超分图像提供参考指导。
考虑到语义结构化码流中可能包含多个不同语义的物体或者区域(如图1中的人、车、数等物体或者区域)，用户可以根据需求，指定一个或多个物体/区域作为超分辨率重建对象来进行检索，进而对指定的物体或者区域进行后续超分辨率重建。
最后，基于检索到的高分辨率图像提供的参考指导，为语义结构化码流中相同语义的物体或者区域进行自适应超分辨重建，从而提升整体图像的超分辨重建质量。
本发明实施例中，特征的压缩编码过程可以在边缘针对某些特定任务实现，也可以选择在云端针对多样的任务进行实现；此外，对于低分辨率的待增强图片可以选择采用基于深度学习的方法实现，也可以采用传统方法实现。
本领域技术人员可以理解，高分辨率图像与低分辨率图像是本领域通用术语，可通过图像的分辨率大小来界定的。此处，高低分辨率为相对概念，即低分辨图像的图像分辨率大小的整数倍(例如，二倍、四倍、八倍等)，均可称之为高分辨率图像；本发明不做固定的分辨率数值限定。
高分辨率图像与低分辨率图像属于相对概念，即两个图像中，分辨率较高则称为高分辨率图像，分辨率较低则称为低分辨率图像。
本发明实施例上述方案主要优点和积极效果体现在以下四个方面：
1)能够支持多种现有甚至未来可能出现的智能超分辨任务，例如，对特定区域/物体进行超分辨增强，应用范围广泛，具有较强的实际应用价值。
2)利用面向智能的结构化码流编码方案，将会得到方便检索的语义结构化码流，便于后续进行语义级别的匹配，能够为超分辨提供更加可靠、更加多元的高分辨率参考指导。
3)针对结构化码流进行高分辨图像检索，不需要额外解码和处理，减少计算量，加速了参考高分辨图像的搜索。
4)该空间/物体自适应的超分辨，不仅可以提高整体图像的超分辨效果，还可对特定区域/物体进行超分辨，支持后续更多的智能分析任务。
综上所述，本发明实施例上述方案能够使得基于参考的图像超分辨这一过程更加的通用、灵活、高效。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (2)

1.一种结合结构化语义码流的空间自适应图像超分辨重建方法，其特征在于，包括：
利用支持机器智能的编码框架将低分辨率图像进行压缩编码，得到语义结构化码流；
根据语义结构化码流中不同物体或者区域的语义，在云端数据库上进行图像检索，得到相同语义的高分辨率图像；
基于检索到的高分辨率图像提供的参考指导，为语义结构化码流中相同语义的物体或者区域进行自适应超分辨重建。
2.根据权利要求1所述的一种结合结构化语义码流的空间自适应图像超分辨重建方法，其特征在于，利用支持机器智能的编码框架将低分辨率图像进行压缩编码时，编码处理单元的划分在像素域进行，或者在隐变量域进行。
CN202110240723.9A 2021-03-04 2021-03-04 结合结构化语义码流的空间自适应图像超分辨重建方法 Active CN112967188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110240723.9A CN112967188B (zh) 2021-03-04 2021-03-04 结合结构化语义码流的空间自适应图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110240723.9A CN112967188B (zh) 2021-03-04 2021-03-04 结合结构化语义码流的空间自适应图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN112967188A true CN112967188A (zh) 2021-06-15
CN112967188B CN112967188B (zh) 2024-04-02

Family

ID=76276493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110240723.9A Active CN112967188B (zh) 2021-03-04 2021-03-04 结合结构化语义码流的空间自适应图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN112967188B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358927A (zh) * 2022-08-22 2022-11-18 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059721A1 (ko) * 2017-09-21 2019-03-28 에스케이텔레콤 주식회사 해상도 향상 기법을 이용한 영상의 부호화 및 복호화
CN109726806A (zh) * 2017-10-30 2019-05-07 上海寒武纪信息科技有限公司 信息处理方法及终端设备
CN110415172A (zh) * 2019-07-10 2019-11-05 武汉大学苏州研究院 一种面向混合分辨率码流中人脸区域的超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059721A1 (ko) * 2017-09-21 2019-03-28 에스케이텔레콤 주식회사 해상도 향상 기법을 이용한 영상의 부호화 및 복호화
CN109726806A (zh) * 2017-10-30 2019-05-07 上海寒武纪信息科技有限公司 信息处理方法及终端设备
CN110415172A (zh) * 2019-07-10 2019-11-05 武汉大学苏州研究院 一种面向混合分辨率码流中人脸区域的超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡彦婷;陈建军;杜守洪;: "超分辨率重建技术研究进展", 信息技术, no. 05 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358927A (zh) * 2022-08-22 2022-11-18 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法
CN115358927B (zh) * 2022-08-22 2023-12-26 重庆理工大学 一种结合空间自适应和纹理转换的图像超分辨重建方法

Also Published As

Publication number Publication date
CN112967188B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
Zhang et al. Context-aware image inpainting with learned semantic priors
Hsu et al. Pedestrian detection using stationary wavelet dilated residual super-resolution
CN104200498B (zh) 融合Cortex‑A7的实时视频超分辨率处理方法
CN115861131A (zh) 基于图像生成视频、模型的训练方法、装置及电子设备
Chen et al. Residual pyramid learning for single-shot semantic segmentation
CN118096961B (zh) 图像处理方法和装置
WO2023211543A1 (en) Generating an inpainted image from a masked image using a patch-based encoder
CN112967188A (zh) 结合结构化语义码流的空间自适应图像超分辨重建方法
CN112866715B (zh) 一种支持人机混合智能的通用视频压缩编码系统
CN114564606A (zh) 一种数据处理方法、装置、电子设备及存储介质
Leng et al. Augmented two stream network for robust action recognition adaptive to various action videos
CN113902631A (zh) 图像处理方法、电子设备和存储介质
Lin et al. Real-time foreground object segmentation networks using long and short skip connections
CN108024113B (zh) 一种目标占比自适应的压缩域小目标跟踪方法
CN116563109A (zh) 一种针对低码率视频的时空超分辨率方法、系统及设备
US11928855B2 (en) Method, device, and computer program product for video processing
CN114399708A (zh) 一种视频动作迁移深度学习系统和方法
CN111881981A (zh) 一种基于掩膜编码的单阶段实例分割方法
CN111953973B (zh) 支持机器智能的通用视频压缩编码方法
CN113627341B (zh) 一种视频样例比对的方法、系统、设备及存储介质
US20240161335A1 (en) Generating gesture reenactment video from video motion graphs using machine learning
CN118570054B (zh) 图像生成模型的训练方法、相关装置和介质
Gong et al. A continual learning-based approach for multi-source image enhancement and reconstruction over different categorical scenes
Liu et al. Appearance flow based structure prior guided image inpainting
Zhang et al. Deep Fourier-based Arbitrary-scale Super-resolution for Real-time Rendering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant