CN114781622A - 图像处理方法和装置、视频处理方法和装置 - Google Patents

图像处理方法和装置、视频处理方法和装置 Download PDF

Info

Publication number
CN114781622A
CN114781622A CN202210493073.3A CN202210493073A CN114781622A CN 114781622 A CN114781622 A CN 114781622A CN 202210493073 A CN202210493073 A CN 202210493073A CN 114781622 A CN114781622 A CN 114781622A
Authority
CN
China
Prior art keywords
data
image
resolution
processed
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210493073.3A
Other languages
English (en)
Inventor
邵纬航
杨凤海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210493073.3A priority Critical patent/CN114781622A/zh
Publication of CN114781622A publication Critical patent/CN114781622A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施方式涉及图像处理技术领域，具体涉及一种图像处理方法和图像处理装置、视频处理方法和视频处理装置，解决了传统的图像超分方法计算量大的问题。该图像处理方法，基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据，并基于亮度通道超分数据，生成待处理图像对应的超分图像。小波变换具有多尺度的特点，能够更加准确地观察到信号的多尺度信息。因此，基于小波变换的卷积处理能够基于亮度通道数据提取更多的特征，以提高图像处理的准确性。另外，本说明书实施方式利用基于小波变换的卷积处理即可实现对待处理图像的超分处理，方法简单，计算量小，大大降低了计算开销。

Description

图像处理方法和装置、视频处理方法和装置
技术领域
本说明书实施方式涉及图像处理技术领域，具体涉及一种图像处理方法和图像处理装置、视频处理方法和视频处理装置。
背景技术
图像超分技术能够将低分辨率图像处理为高分辨率图像，因此其被广泛应用在直播、实时通信以及影片修复等诸多场景中。比如，借助图像超分技术改善直播场景中的视频画质，借助图像超分技术改善实时通信场景中的经多次转发后画质变差的图像和/或视频，以及借助图像超分技术改善影片修复场景中的画质粗糙的经典影片等。然而，传统的图像超分方法方案复杂，设备开销大，因而无法在有限的设备条件下实施。
发明内容
有鉴于此，本说明书实施方式提供了一种图像处理方法和图像处理装置，以及计算机可读存储介质和电子设备，解决了传统的图像超分方法计算量大的问题。
第一方面，本说明书实施方式提供的一种图像处理方法，包括：基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据；基于亮度通道超分数据，生成待处理图像对应的超分图像。
第二方面，本说明书实施方式提供了一种视频处理方法，包括：利用第一方面提及的图像处理方法，处理待处理视频的视频帧，得到待处理视频的视频帧对应的超分图像；基于待处理视频的视频帧对应的超分图像，生成待处理视频的超分辨视频数据。
第三方面，本说明书实施方式提供了一种图像处理装置，包括：亮度超分处理模块，配置为基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据；超分图像生成模块，配置为基于亮度通道超分数据，生成待处理图像对应的超分图像。
第四方面，本说明书实施方式提供了一种视频处理装置，包括：视频处理模块，配置为利用第一方面提及的图像处理方法，处理待处理视频的视频帧，得到待处理视频的视频帧对应的超分图像；超分辨视频生成模块，配置为基于待处理视频的视频帧对应的超分图像，生成待处理视频的超分辨视频数据。
第五方面，本说明书实施方式提供了一种计算机可读存储介质，存储介质存储有指令，当指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面提及的图像处理方法，和/或上述第二方面提及的视频处理方法。
第六方面，本说明书实施方式提供了一种电子设备，电子设备包括：处理器；用于存储计算机可执行指令的存储器；处理器，用于执行计算机可执行指令，以实现上述第一方面提及的图像处理方法，和/或上述第二方面提及的视频处理方法。
第七方面，本说明书实施方式提供了一种神经网络模型，包括：包含类小波变换模块的亮度通道超分网络，其中，类小波变换模块用于基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据。
第八方面，本说明书实施方式提供了一种计算机程序产品，计算机程序产品中包括指令，指令被计算机设备的处理器执行时，使得计算机设备能够执行上述第一方面提及的图像处理方法，和/或上述第二方面提及的视频处理方法。
本说明书实施方式提供的图像处理方法，基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据，然后基于亮度通道超分数据，生成待处理图像对应的超分图像。小波变换具有多尺度的特点，可以同时观察信号的时间和频率信息，从而能够更加准确地观察到信号的多尺度信息。因此，基于亮度通道数据进行基于小波变换的卷积处理，能够基于亮度通道数据提取更多的特征，以得到更加准确地亮度通道超分数据。另外，本说明书实施方式利用基于小波变换的卷积处理即可实现对待处理图像的超分处理，方法简单，计算量小，大大降低了计算开销。
附图说明
图1所示为本说明书一实施方式提供的图像处理方法的应用场景示意图。
图2所示为本说明书另一实施方式提供的图像处理方法的应用场景示意图。
图3所示为本说明书另一实施方式提供的图像处理方法的应用场景示意图。
图4所示为本说明书一实施方式提供的图像处理方法的流程示意图。
图5所示为本说明书一实施方式提供的亮度通道超分网络的结构示意图。
图6所示为本说明书另一实施方式提供的亮度通道超分网络的结构示意图。
图7所示为本说明书另一实施方式提供的亮度通道超分网络的结构示意图。
图8所示为本说明书另一实施方式提供的亮度通道超分网络的结构示意图。
图9所示为本说明书另一实施方式提供的图像处理方法的流程示意图。
图10所示为本说明书一实施方式提供的超分网络的结构示意图。
图11a所示为本说明书一实施方式提供的色度超分网络的结构示意图。
图11b所示为本说明书另一实施方式提供的色度超分网络的结构示意图。
图12所示为本说明书另一实施方式提供的超分网络的结构示意图。
图13所示为本说明书另一实施方式提供的图像处理方法的流程示意图。
图14所示为本说明书另一实施方式提供的超分网络的结构示意图。
图15所示为本说明书另一实施方式提供的超分网络的结构示意图。
图16所示为本说明书另一实施方式提供的超分网络的结构示意图。
图17所示为本说明书一实施方式提供的图像处理装置的结构示意图。
图18所示为本说明书另一实施方式提供的图像处理装置的结构示意图。
图19所示为本说明书另一实施方式提供的图像处理装置的结构示意图。
图20所示为本说明书一实施方式提供的电子设备的结构示意图。
具体实施方式
下面将结合本说明书实施方式中的附图，对本说明书实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本说明书实施方式一部分实施例，而不是全部的实施例。基于本说明书实施方式中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本说明书实施方式保护的范围。
下面结合图1至图3进行应用场景的举例说明。下述应用场景中均通过对待处理图像的亮度通道数据进行基于小波变换的卷积处理的方式，实现了对图像或视频进行超分处理的功能。更具体地，基于亮度通道数据进行基于小波变换的卷积处理，指的是，针对待处理图像中的每个像素点对应的亮度通道数据和卷积核做内积，以便对每个像素点对应的亮度通道数据进行特征提取和分析，即，类似于小波变换对图像进行频域的多尺度的分析，从而最终得到待处理图像的亮度通道超分数据。
图1所示为本说明书一实施方式提供的图像处理方法的应用场景示意图。如图1所示，本实施方式的应用场景涉及视频发送端的客户端和视频接收端的客户端。具体地，视频发送端的客户端采集待处理视频(即执行步骤S110)，并向视频接收端的客户端发送待处理视频(即执行步骤S120)。对应地，视频接收端的客户端接收待处理视频，并基于待处理视频的亮度通道数据进行基于小波变换的卷积处理，得到待处理视频的亮度通道超分数据，然后基于亮度通道超分数据，生成待处理视频的视频帧对应的超分图像，进而生成待处理视频对应的超分辨视频数据(即执行步骤S130)，并播放超分辨视频数据(即执行步骤S140)。
在另外一些实施方式中，对待处理视频的处理过程(即步骤S130)亦可以在视频发送端的客户端执行。即，待处理视频发送端的客户端处理后再发送给视频接收端的客户端，以便视频接收端的客户端直接播放超分辨视频数据。
更具体地，本实施方式提及的应用场景可以是直播场景，视频发送端的客户端可以是主播的客户端，视频接收端的客户端可以是观众的客户端。更具体地，本实施方式提及的应用场景可以是视频会议场景，视频发送端的客户端可以是第一参与方的客户端，视频接收端的客户端可以是第二参与方的客户端。此外，可以理解，视频发送端亦可以成为视频接收端，视频接收端亦可以成为视频发送端，对此本实施方式不再赘述。
为了进一步明确视频接收端的客户端对待处理视频的处理过程，下面结合图2进一步举例说明。如图2所示，视频接收端的客户端包括视频接收器210、处理器220和视频播放器230。具体地，视频接收器210用于接收待处理视频，并将接收的待处理视频发送至处理器220。处理器220用于基于待处理视频的亮度通道数据进行基于小波变换的卷积处理，得到待处理视频的亮度通道超分数据，然后基于亮度通道超分数据，生成待处理视频的视频帧对应的超分图像，进而生成待处理视频对应的超分辨视频数据，并向视频播放器发送超分辨视频数据。视频播放器230用于播放超分辨视频数据。其中，处理器220可以是客户端的处理器等硬件，视频播放器230可以是客户端的显示器等硬件。
在一些实施方式中，客户端可以是手机、笔记本电脑以及平板电脑等终端，还可以是智能电视、虚拟现实(Virtual Reality，VR)头盔以及智能眼镜等终端。
除了上述实施方式描述的应用场景之外，本说明书的技术方案还适用于基于实时通信(Real-Time Communication，RTC)技术实现的通信场景中。RTC技术是指能够实时发送和接收文本、音频和视频等的通信技术，适用于直播、点播、视频会议、在线课堂、在线聊天室、游戏互动等场景，实现纯音频数据、视频数据等的实时传输。本申请的技术方案即可以具体应用于基于RTC实现的直播、点播、视频会议、在线课堂、在线聊天室、游戏互动等通信场景。
下面结合图3进一步举例说明。
图3所示为本说明书另一实施方式提供的图像处理方法的应用场景示意图。如图3所示，本说明书实施方式提供的图像处理方法的应用场景包括：服务端310以及多个客户端320。图3仅示出了客户端A、客户端B和客户端C。多个客户端320之间通过服务端310可以建立通信连接，在RTC场景中，服务端310用来在多个客户端320之间提供RTC服务，多个客户端320可以分别作为发送端或接收端，通过服务端310实现实时通信。
用户通过客户端320可与服务端310进行交互以接收其它客户端320发送的数据，或将数据发送至其它客户端320等。在RTC场景中，可以是用户通过客户端320向服务端310发布数据流，服务端200将该数据流推送至订阅该数据流的客户端中。数据流例如可以是视频流等媒体数据。如在直播场景中，主播用户通过客户端320可以实时采集媒体数据，并发送至服务端310，不同主播用户的媒体数据通过直播间进行区分，服务端310可以将该主播用户的媒体数据推送至进入该主播用户对应直播间的观看用户。又如在会议场景中，参会用户通过客户端320可以实时采集媒体数据并发送至服务端310，服务端310可以将每个客户端320发送的媒体数据推送至其它参会用户的客户端320等。
其中，客户端320所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至服务端310，还可以按照本说明书实施方式的技术方案对图像进行超分处理等，在下文会详细介绍。
其中，客户端320与服务端310之间通过网络建立连接。网络为客户端320与服务端310之间提供了通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
其中，客户端320可以为浏览器、应用程序(Application，APP)、或网页应用如超文本标记语言第5版(Hyper Text Markup Language5，H5)应用、或轻应用(也被称为小程序，一种轻量级应用程序)或云应用等，客户端320可以基于服务端提供的相应服务的软件开发工具包(Software Development Kit，SDK)，如基于RTC SDK开发获得等。客户端320可以部署在电子设备中，需要依赖设备运行或者设备中的某些APP而运行等。电子设备例如可以具有显示屏并支持信息浏览等，如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用，例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
服务端310可以包括提供各种服务的服务器，例如为多个客户端提供通信服务的服务器，又如为客户端上使用的模型提供支持的用于后台训练的服务器，又如对客户端发送的数据进行处理的服务器等。
需要说明的是，服务端310可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
需要说明的是，本说明书实施方式中提供的图像处理方法或视频处理方法一般由服务端执行，相应的图像处理装置或视频处理装置一般设置于服务端中。但是，在本申请的其它实施方式中，客户端也可以与服务端具有相似的功能，从而执行本说明书实施方式所提供的图像处理方法或视频处理方法。在其它实施方式中，本说明书实施方式所提供的图像处理方法或视频处理方法还可以是由客户端与服务端共同执行。
图4所示为本说明书一实施方式提供的图像处理方法的流程示意图。如图4所示，该图像处理方法包括如下步骤。
步骤410，基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据。
待处理图像可以是视频中的视频帧，也可以是普通图像。
待处理图像对应有YUV三个通道的数据，其中，Y通道数据又称为亮度通道数据，其能够表征亮度信息和细节纹理信息，UV通道数据又称为色度通道数据，其能够表征颜色信息。对应地，亮度通道超分数据指的是待处理图像的亮度通道数据被超分辨处理后的数据。可以理解，亮度通道超分数据对应的分辨率高于亮度通道数据对应的分辨率。
示例性地，可以利用包含类小波变换模块的亮度通道超分网络，基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据。其中，亮度通道超分网络为能够对亮度通道数据进行超分处理的神经网络，类小波变换模块可以是亮度通道超分网络的组成模块，其可以包括若干卷积层和反卷积层。
步骤420，基于亮度通道超分数据，生成待处理图像对应的超分图像。
示例性地，在得到待处理图像的亮度通道超分数据后，可以与待处理图像的色度通道数据融合，从而得到待处理图像的超分图像。可以理解，待处理图像的色度通道数据也可以被超分辨处理，从而得到待处理图像的色度通道超分数据，然后将待处理图像的亮度通道超分数据和色度通道超分数据融合，从而得到待处理图像对应的超分图像。
在超分任务中，Y通道数据比UV通道数据更加受到关注，因此，本说明书实施方式优先利用包含类小波变换模块的亮度通道超分网络，处理待处理图像的亮度通道数据，得到待处理图像的亮度通道超分数据，进而基于亮度通道超分数据，生成待处理图像对应的超分图像。小波变换具有多尺度的特点，可以同时观察信号的时间和频率信息，从而能够更加准确地观察到信号的多尺度信息。因此，基于亮度通道数据进行基于小波变换的卷积处理，能够基于亮度通道数据提取更多的特征，以得到更加准确地亮度通道超分数据。另外，本说明书实施方式基于小波变换的卷积处理即可实现对待处理图像的超分处理，方法简单，计算量小，大大降低了计算开销。
下面详细说明类小波变换模块的具体功能。
在本说明书一实施方式中，类小波变换模块用于：基于亮度通道数据进行模拟小波变换的卷积操作，得到亮度特征数据；基于亮度特征数据进行特征分析，得到亮度分析数据；基于亮度分析数据进行模拟小波逆变换的反卷积操作，得到亮度通道超分数据。具体而言，类小波变换模块可以包括小波变换单元、第一亮度分析单元和小波逆变换单元。小波变换单元用于基于亮度通道数据进行模拟小波变换的卷积操作，得到亮度特征数据。第一亮度分析单元用于基于亮度特征数据进行特征分析，得到亮度分析数据。小波逆变换单元用于基于亮度分析数据进行模拟小波逆变换的反卷积操作，得到亮度通道超分数据。其中，小波变换单元、第一亮度分析单元和小波逆变换单元均可以包含一个或多个卷积层，以及一个或多个反卷积层。其中，卷积层的卷积参数可以以W[输出通道数x输入通道数x卷积核尺寸x卷积核尺寸]的形式表示。反卷积层的卷积参数可以以W[输入通道数x输出入通道数x卷积核尺寸x卷积核尺寸]的形式表示。
在实际应用中，如图5所示，类小波变换模块的输入可以是维度为1x1x180x320的亮度通道数据(即，一组深度为1，分辨率为180x320的数据)。小波变换单元可以是卷积参数为W[16x1x2x2]的卷积层Conv(即，卷积层Conv的输出通道数为16，输入通道数为1，卷积核尺寸为2x2)，因此，小波变换单元可以利用卷积核尺寸2x2的卷积对1通道的亮度通道数据进行特征提取，得到16通道的亮度特征数据。第一亮度分析单元可以是卷积参数为W[16x16x3x3]的卷积层Conv(即，卷积层Conv的输出通道数为16，输入通道数为16，卷积核尺寸为3x3)，因此，第一亮度分析单元可以利用卷积核尺寸3x3的卷积对16通道的亮度特征数据进行特征分析，得到16通道的亮度特征分析数据。小波逆变换单元可以是卷积参数为W[16x1x2x2]的反卷积层ConvTranspose(即，反卷积层ConvTranspose的输入通道数为16，输出通道数为1，卷积核尺寸为2x2)，因此，小波逆变换单元可以利用卷积核尺寸2x2的卷积对16通道的亮度特征分析数据进行反卷积操作，得到1通道的亮度通道超分数据，即可以输出1x1x360x540的亮度通道超分数据(即，一组深度为1，分辨率为360x540的数据)。
可以理解，图5所示实施方式中的卷积层和反卷积层的卷积参数还可以包括偏差B[维度](图5未示出)。例如，第一亮度分析单元可以是卷积参数为W[16x16x3x3]，B[16]的卷积层Conv(即，卷积层Conv的输出通道数为16，输入通道数为16，卷积核尺寸为3x3，偏差为16维)。图5所示实施方式中的卷积层和反卷积层的卷积参数还可以是其他数值，本说明书实施方式不做具体限定。图5所示实施方式中的卷积层与卷积层之间，以及卷积层与反卷积层之间还可以有激活函数层(图5未示出)。激活函数层可以是Relu。
小波变换单元和小波逆变换单元的卷积参数还可以包括步长，步长可以均设置为2。第一亮度分析单元的卷积参数还可以包括步长，步长可以设置为1。小波变换单元三维步长设置为2，可以将经过小波变换单元处理的待处理图像的宽高均缩小为原来的二分之一，相当于下采样，从而可以在缩小的待处理图像的基础上进行卷积操作，以提取图像深层(即，高维度)的细节信息(即，高频信息)和近似信息(即，低频信息)。例如，经过小波变换单元处理之前的待处理图像的宽高尺寸为180x320，经过小波变换单元处理之后的待处理图像的宽高尺寸为90x160。小波逆变换单元的步长设置为2，可以将经过小波逆变换单元处理的待处理图像的宽高均扩大为原来的二倍，相当于上采样，从而可以将放大图像显示在更高分辨率的显示设备上。例如，经过小波逆变换单元处理之前的待处理图像的宽高尺寸为90x160，经过小波变换单元处理之后的待处理图像的宽高尺寸为180x320。
结合上述实施方式中的描述内容可知，上述实施方式中的类小波变换模块结构简单，并且，使用该类小波变换模块对待处理图像进行超分处理的计算量小，进而能够进一步降低计算开销。
下面详细说明类小波变换模块的更加具体的功能。
在本说明书一实施方式中，基于亮度特征数据进行特征分析，得到亮度分析数据，包括：基于亮度特征数据进行第一卷积核尺寸的特征分析，得到第一分析数据；基于第一分析数据进行第二卷积核尺寸的特征分析，得到第二分析数据；基于第二分析数据进行第三卷积核尺寸的特征分析，得到亮度分析数据。
具体而言，第一亮度分析单元进一步用于：基于亮度特征数据进行第一卷积核尺寸的特征分析，得到第一分析数据；基于第一分析数据进行第二卷积核尺寸的特征分析，得到第二分析数据；基于第二分析数据进行第三卷积核尺寸的特征分析，得到亮度分析数据。
在实际应用中，如图6所示，类小波变换模块的输入可以是维度为1x8x180x320的亮度通道数据(即，一组深度为8，分辨率为180x320的数据)。小波变换单元可以是卷积参数为W[16x8x2x2]的卷积层Conv(即，卷积层Conv的输出通道数为16，输入通道数为8，卷积核尺寸为2x2)，因此，小波变换单元可以利用卷积核尺寸2x2的卷积对8通道的亮度通道数据进行特征提取，得到16通道的亮度特征数据。第一亮度分析单元可以包括3层卷积层，3层卷积层的卷积参数分别为W[16x16x1x1]，B[16]的卷积层Conv(即，卷积层Conv的输出通道数为16，输入通道数为16，卷积核尺寸为1x1，偏差为16维)，W[16x16x3x3]，B[16]的卷积层Conv(即，卷积层Conv的输出通道数为16，输入通道数为16，卷积核尺寸为3x3，偏差为16维)，和W[16x16x1x1]，B[16]的卷积层Conv(即，卷积层Conv的输入通道数为16，输出通道数为16，卷积核尺寸为1x1，偏差为16维)。因此，第一亮度分析单元可以利用卷积核尺寸1x1的卷积对16通道的亮度特征数据进行特征分析，得到16通道的第一分析数据，然后利用卷积核尺寸3x3的卷积对16通道的第一分析数据进行特征分析，得到16通道的第二分析数据，最后利用卷积核尺寸1x1的卷积对16通道的第二分析数据进行特征分析，得到16通道的亮度分析数据。
可以理解，图6所示实施方式中的卷积层和反卷积层的卷积参数还可以是其他数值，本说明书实施方式不做具体限定。图6所示实施方式中的卷积层与卷积层之间还可以有激活函数层。激活函数层可以是Relu。本说明书实施方式对激活函数层的激活函数的种类不做具体限定。
上述实施方式中的第一亮度分析单元包括3层卷积层，从而可以对待处理图像进行三次特征分析，进一步提高了图像处理的准确性，以得到更加准确地亮度通道超分数据。
为了进一步提高图像处理的准确性，基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据，包括：基于待处理图像的亮度通道数据进行基于小波变换的卷积处理和残差处理，得到亮度通道超分数据。
示例性地，上述提及的残差处理借助残差模块实现，即，亮度通道超分网络还可以包括残差模块。那么，基于待处理图像的亮度通道数据进行基于小波变换的卷积处理和残差处理，得到亮度通道超分数据，可以包括：利用包含类小波变换模块和残差模块的亮度通道超分网络，处理亮度通道数据，得到亮度通道超分数据。具体地，残差模块用于基于亮度通道数据进行特征提取和特征分析的卷积操作。残差模块可以包括：第一卷积单元、激活函数单元、第二卷积单元和求和单元。
在实际应用中，如图7所示，亮度通道超分网络包括类小波变换模块711和残差模块712，此外，亮度通道超分网络还包括输入层713、卷积层714、求和层715、卷积层716、求和层717、卷积层718、激活函数层719、反卷积层720和输出层721。类小波变换模块711可以是图5或图6所示实施方式的结构，也可以是图7所示实施方式的结构。残差模块712包括：第一卷积单元、激活函数单元、第二卷积单元和求和单元。第一卷积单元可以是卷积参数为W[8x8x3x3]，B[8]的卷积层Conv(即，卷积层Conv的输出通道数为8，输入通道数为8，卷积核尺寸为3x3，偏差为8维)。激活函数单元可以是激活函数层Relu，第二卷积单元可以是卷积参数为W[8x8x3x3]，B[8]的卷积层Conv(即，卷积层Conv的输出通道数为8，输入通道数为8，卷积核尺寸为3x3，偏差为8维)。求和单元可以是求和层Add，用于将类小波变换模块的输出数据和第二卷积单元的输出数据进行求和处理。输入层713可以输入维度为1x1x180x320的亮度通道数据。卷积层714的卷积参数可以是W[8x1x5x5]，B[8]。求和层715用于对卷积层714的输出数据和类小波变换模块711的输出数据进行求和处理。卷积层716的卷积参数可以是W[8x8x3x3]，B[8]。求和层717用于对卷积层714的输出数据和卷积层716的输出数据进行求和处理。卷积层718的卷积参数可以是W[16x8x3x3]，B[16]。激活函数层719用于对卷积层718的输出数据进行激活处理。反卷积层720的卷积参数可以是W[16x1x2x2]，B[1]。输出层721可以输出1x1x360x640的亮度通道超分数据。
类小波变换模块的数量和残差模块的数量均可以是一个或多个，本说明书实施方式在图7只中示出了包含1个类小波变换模块和1个残差模块的实施方式。本说明书实施方式对类小波变换模块的数量和残差模块的数量不做具体限定。另外，本说明书实施方式对类小波变换模块和残差模块的连接顺序也不做具体限定。
类小波变换模块能够基于亮度通道数据进行高维度的特征提取和特征分析，残差模块能够基于亮度通道数据进行低维度的特征提取和特征分析。即，基于小波变换的卷积处理能够基于亮度通道数据进行高维度的特征提取和特征分析，残差处理能够基于亮度通道数据进行低维度的特征提取和特征分析。因此，基于待处理图像的亮度通道数据进行基于小波变换的卷积处理和残差处理，得到亮度通道超分数据，能够使得到的亮度通道超分数据同时参考了亮度通道数据的高维度和低维度的特征，从而进一步提高了得到的亮度通道超分数据对应的画质。
为了更好地适应输入的不同尺寸的待处理图像，在本说明书一实施例中，亮度通道超分网络还包括：深度调整卷积模块。具体地，在基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据之前，还包括：对待处理图像的初始通道数据进行深度调整处理，得到亮度通道数据。上述提及的对待处理图像的初始通道数据进行深度调整处理，可以借助深度调整卷积模块实现。其中，深度调整卷积模块的输出层深度是基于待处理图像的分辨率信息确定的。
具体地，初始通道数据可以是待处理图像的深度较小的单通道数据，例如，深度较小的亮度通道数据。深度较小的亮度通道数据经深度调整卷积模块处理后，可以得到深度较大的亮度通道数据。根据待处理图像的分辨率信息，可以确定深度调整卷积模块的输出层深度。如果待处理图像的分辨率较大，深度调整卷积模块确定的输出层深度可以较小。如果待处理图像的分辨率较小，深度调整卷积模块确定的输出层深度可以较大。本说明书实施方式对深度调整卷积模块确定的输出层深度的数值不做具体限定。
在实际应用中，如图7所示，深度调整卷积模块可以是卷积层714。卷积层714的卷积参数可以是W[8x1x5x5]。即，卷积层714的输入层深度(初始通道数据的深度)是1，而输出层(亮度通道数据的深度)的深度是8。
基于待处理图像的分辨率信息确定深度调整卷积模块的输出层深度，可以在输入的待处理图像的分辨率较大的情况下，使深度调整卷积模块确定的输出层深度较小，从而降低亮度通道超分网络的复杂度，减少由于输入的待处理图像的分辨率较大导致的图像处理速度较慢的问题。
图7实施方式的亮度通道超分网络中的各个模块的参数还可以是其他数值，本说明书实施方式不做具体限定。下面在图7实施方式的基础上，结合图8给出亮度通道超分网络中的各个模块的另一种参数设置方式。如图8所示，输入层713可以输入维度为1x1x540x960的亮度通道数据。卷积层714的卷积参数可以是W[4x1x5x5]，B[4]。类小波变换模块711包括：依次串行连接的卷积层Conv:W(8x4x2x2)、卷积层Conv:W(8x8x1x1)，B[8]、激活层Relu、卷积层Conv:W(8x8x3x3)，B[8]、激活层Relu、卷积层Conv:W(8x8x1x1)，B[8]、激活层Relu和反卷积层ConvTranspose:W(8x4x2x2)。求和层715用于对卷积层714的输出数据和类小波变换模块711的输出数据进行求和处理。残差模块712包括：依次串行连接的卷积层Conv:W(4x4x3x3)，B[4]、激活层Relu、卷积层Conv:W(4x4x3x3)，B[4]和求和层Add。卷积层716的卷积参数可以是W[4x4x3x3]，B[4]。求和层717用于对卷积层714的输出数据和卷积层716的输出数据进行求和处理。卷积层718的卷积参数可以是W[8x4x3x3]，B[8]。激活函数层719用于对卷积层718的输出数据进行激活处理。反卷积层720的卷积参数可以是W[8x1x2x2]，B[1]。输出层721可以输出1x1x1080x1920的亮度通道超分数据。
上面详细说明了对待处理图像的亮度通道数据的处理方法，下面结合图9和图10详细说明对待处理图像的色度通道数据的处理方法。
在本说明书一实施例中，基于亮度通道超分数据，生成待处理图像对应的超分图像的步骤，包括如下步骤。
步骤910，基于待处理图像的色度通道数据进行色度特征提取操作，得到色度粗超分数据。
具体地，如图10所示，可以由第一色度分析模块1010基于待处理图像的色度通道数据进行色度特征提取操作，得到色度粗超分数据。
基于待处理图像的色度通道数据进行色度特征提取操作，得到色度粗超分数据，包括：基于色度通道数据进行全频段特征提取，得到全频段特征数据；基于全频段特征数据进行特征分析，得到色度粗超分数据。
在实际应用中，第一色度分析模块1010可以包括相连的输入单元、全频段特征提取单元和全频段特征分析单元。全频段特征提取单元用于基于色度通道数据进行全频段特征提取，得到全频段特征数据。全频段特征分析单元用于基于全频段特征数据进行特征分析，得到色度粗超分数据。
输入单元Input(UV)可以输入维度为1x2x270x480的色度通道数据(即，UV通道数据)。全频段特征提取单元可以是卷积参数为W[8x2x3x3]，B[8]的卷积层Conv。全频段特征分析单元可以是卷积参数为W[8x4x2x2]，B[8]的反卷积层ConvTranspose。全频段特征分析单元还可以包括卷积参数为W[8x8x3x3]，B[8]的卷积层Conv，和卷积参数为W[8x4x2x2]，B[8]的反卷积层ConvTranspose。卷积层和反卷积层之后均可以跟一个激活函数层Relu。全频段特征提取单元还可以包括数量更多的卷积层，本说明书实施方式对全频段特征提取单元包括的卷积层的数量不做具体限定。全频段特征分析单元还可以包括数量更多的卷积层和反卷积层，本说明书实施方式对全频段特征分析单元包括的卷积层和反卷积层的数量不做具体限定。
步骤920，根据基于小波变换的卷积处理的输出数据，生成色度通道的超分引导数据。
具体地，超分引导数据用于表征待处理图像的细节纹理信息。
在实际应用中，如图10所示，可以由引导数据生成模块1020基于类小波变换模块的输出数据，生成色度通道的超分引导数据。引导数据生成模块1020可以是卷积参数为W[4x16x1x1]，B[4]的卷积层Conv。引导数据生成模块1020还可以是相连的卷积参数为W[4x16x1x1]，B[4]的卷积层Conv和激活函数层Relu。
可以理解，类小波变换模块711的输出数据可以继续被求和层715、残差模块712、卷积层716、求和层717、卷积层718、激活函数层719依次处理后再输出给引导数据生成模块1020。只要引导数据生成模块1020是基于类小波变换模块711的输出数据，生成色度通道的超分引导数据即可，本说明书实施方式并不限定类小波变换模块711与引导数据生成模块1020之间是否还包括其他模块。
步骤930，基于超分引导数据，对色度粗超分数据进行色度特征分析操作，得到色度通道超分数据。
具体地，如图10所示，可以将超分引导数据和色度粗超分数据均输入第二色度分析模块1030，从而使第二色度分析模块1030基于待处理图像的色度通道数据进行色度特征提取操作，得到色度通道超分数据。第一色度分析模块1010、引导数据生成模块1020和第二色度分析模块1030可以组成色度超分网络。
在实际应用中，如图10所示，第二色度分析模块1030可以包括相连的求和层Add、卷积群和输出层。求和层Add用于对第一色度分析模块1010的输出数据和引导数据生成模块1020的输出数据进行求和。卷积群可以包括2层卷积，第一层卷积Conv的卷积参数为W[4x4x3x3]，B[4]，第二层卷积层Conv可以是2个卷积参数为W[1x4x3x3]，B[4]的卷积，从而使输出层可以输出2个1x1x540x960的色度通道数据，即U通道数据和V通道数据。第二层卷积层Conv可以是1个卷积参数为W[2x4x3x3]，B[4]的卷积，从而使输出层也可以输出1个1x2x540x960的色度通道数据，即U通道数据和V通道数据合并输出(图10未示出合并输出的方式)。
步骤940，基于色度通道超分数据和亮度通道超分数据，生成待处理图像对应的超分图像。
示例性地，将色度通道超分数据和亮度通道超分数据融合在一起，以生成待处理图像对应的超分图像。
基于超分引导数据，对色度粗超分数据进行色度特征分析操作，得到色度通道超分数据，可以包括：基于超分引导数据和色度粗超分数据进行合并，得到特征合并数据；基于特征合并数据进行特征分析，得到色度通道超分数据。在实际应用中，如图11a所示，可以利用合并函数层Concat基于超分引导数据和色度粗超分数据进行合并，得到特征合并数据。然后利用卷积层Conv：W[nout x nin x s x s]基于特征合并数据进行特征分析，得到色度通道超分数据。nout表示卷积层Conv的输出通道数，nin表示卷积层Conv的输入通道数，s xs表示卷积层Conv的卷积核尺寸。
另外，基于超分引导数据，对色度粗超分数据进行色度特征分析操作，得到色度通道超分数据，可以包括：基于超分引导数据进行第一精细特征分析，得到引导分析数据；基于色度粗超分数据进行第二精细特征分析，得到色度分析数据；对引导分析数据和色度分析数据进行求和，得到色度通道超分数据。在实际应用中，如图11b所示，可以利用第一卷积层Conv1：W[nout1 x nin1 x s1 x s1]基于超分引导数据进行第一精细特征分析，得到引导分析数据，利用第二卷积层Conv2：W[nout2 x nin2 x s2 x s2]基于色度粗超分数据进行第二精细特征分析，得到色度分析数据，然后利用求和层Add对引导分析数据和色度分析数据进行求和，得到色度通道超分数据。nout1表示卷积层Conv1的输出通道数，nin1表示卷积层Conv1的输入通道数，s1 x s1表示卷积层Conv1的卷积核尺寸。nout2表示卷积层Conv2的输出通道数，nin2表示卷积层Conv2的输入通道数，s2 x s2表示卷积层Conv2的卷积核尺寸。
图11a和图11b的两种实施方式可以通过参数设置达到同样的超分效果。示例性地，可以将卷积层Conv拆分成卷积层Conv1和卷积层Conv2。例如，可以设置nout＝nout1+nout2，nin＝nin1＝nin2，s＝s1＝s2。如果卷积层Conv的卷积参数还可以包括偏差B[维度]，可以将卷积层Conv的偏差B[维度]拆分成2个，即B1[维度]和B2[维度]，B1[维度]可以是卷积层Conv1的偏差，B2[维度]可以是卷积层Conv2的偏差。卷积层Conv、卷积层Conv1和卷积层Conv2的卷积参数的具体数值可以根据实际情况进行选择，本说明书实施方式不做具体限定。另外，卷积层Conv、卷积层Conv1和卷积层Conv2的后面还可以包括激活函数层Relu。卷积层Conv、卷积层Conv1和卷积层Conv2的后面还可以包括其它的激活函数层，本说明书实施方式不做具体限定。
由于色度通道数据缺乏细节纹理信息，第一色度分析模块1010和第二色度分析模块1030仅对输入的色度通道数据进行处理，会对图像的细节或边缘轮廓位置推理不准，导致推理得到的色度通道超分数据产生偏色，或因为亮度通道数据和色度通道数据不对齐而导致颜色溢出。因此，本说明书实施方式根据基于小波变换的卷积处理的输出数据，生成色度通道的超分引导数据，然后基于超分引导数据，对色度粗超分数据进行色度特征分析操作，得到色度通道超分数据，从而使对色度通道数据进行推理时，参考了亮度通道数据中的细节纹理信息，从而减少偏色和颜色溢出。
待处理图像的亮度通道数据和色度通道数据可能合并在一起输入亮度通道超分网络和色度通道超分网络，而亮度通道超分网络用于处理待处理图像的亮度通道数据，色度通道超分网络(可以包括第一色度分析模块1010和第二色度分析模块1030)用于处理待处理图像的色度通道数据，因此，需要对合并在一起的亮度通道数据和色度通道数据进行处理，生成亮度通道数据和色度通道数据。
在本说明书一实施方式中，如图12所示，如果待处理图像的亮度通道数据和色度通道数据合并在一起输入亮度通道超分网络和色度通道超分网络，可以利用拆分模块1210将亮度通道数据拆分出来，利用亮度通道超分网络来处理，然后利用下采样模块1220将色度通道数据拆分出来，利用色度通道超分网络来处理。拆分模块1210可以包括卷积参数为W[1x3x3x3]的卷积层。下采样模块1220可以包括卷积参数为W[2x3x2x2]的卷积层。下采样模块1220包括的卷积参数为W[2x3x2x2]的卷积层的步长参数可以设置为2，从而实现二分之一下采样。
图形处理器(Graphics Processing Unit，GPU)或网络处理器(Neural-networkProcessing Unit，NPU)具有较强的并行处理能力，因此，利用GPU或NPU执行本说明书实施方式的图像处理方法，在亮度通道数据和色度通道数据合并在一起输入亮度通道超分网络和色度通道超分网络的情况下，能够很好的发挥GPU或NPU的并行处理能力，使亮度通道超分网络和色度通道超分网络并行处理亮度通道数据和色度通道数据，从而减少对亮度通道数据和色度通道数据的处理时间，提高图像处理效率。
基于GPU或NPU较强的并行处理能力，下面结合图13详细说明进一步提高图像处理效率的实施方式。
在本说明书一实施方式中，如图13所示，在基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据之前，还包括如下步骤。
步骤1310，对待处理图像的初始亮度通道数据进行基于图像区域的划分，得到N个亮度数据单元。
具体地，N为大于1的正整数。待处理图像的初始亮度通道数据可以是1x1x540x960(即，1组深度为1分辨率为540x960的数据)。对待处理图像的初始亮度通道数据进行基于图像区域的划分，可以是对初始亮度通道数据基于待处理图像的图像区域划分为多块。例如，以将初始亮度通道数据1x1x540x960划分为2块(即，N等于2)为例，划分得到的亮度数据单元可以是2个1x1x540x480的数据(即，将960划分为2部分，每部分都是480)。
为了防止后续对N个亮度数据单元分别处理，再拼装起来得到的图像出现明显的分界线，可以在划分初始亮度通道数据时，使相邻的亮度数据单元存在交叠。例如，初始亮度通道数据对应的待处理图像是一个维度为1xcxhxw的输入图，按宽度(w)维度进行划分，划分为2部分，得到的2个亮度数据单元分别为1xcxhx[0:(w/2+lace)]和1xcxhx[(w/2-lace):w]。c,h,w分别表示待处理图像的深度、高度和宽度。lace表示在宽度维度的交叠区域半径。0:(w/2+lace)表示宽度维度的起止到终点之间的尺寸，起点为0，终点为(w/2+lace)。(w/2-lace):w表示宽度维度的起止到终点之间的尺寸，起点为(w/2-lace)，终点为w。2个亮度数据单元之间的区域交叠长度是2*lace。lace要大于等于网络的整体感受野的半径，才可以保证避免出现分界线。
示例性地，以初始亮度通道数据对应的待处理图像1x1x540x960为例，c＝1，h＝540，w＝960，lace＝16。2个亮度数据单元分别为1x1x 540x496和1x1x 540x496。
步骤1320，将N个亮度数据单元在深度维度进行合并，得到合并亮度数据。
示例性地，以上述得到的2个亮度数据单元1x1x 540x496和1x1x 540x496为例，在深度维度进行合并后，得到合并亮度数据为1x2x 540x496。
步骤1330，对合并亮度数据进行数据抽取，得到N个亮度数据单元各自的亮度通道数据。
具体地，如图14所示(以N＝2举例)，可以利用抽取模块1410对合并亮度数据进行数据抽取，以得到N个亮度数据单元各自的亮度通道数据。抽取模块1410可以包括第一抽取单元1411和第二抽取单元1412。第一抽取单元1411用于在合并亮度数据中抽取出第一个亮度数据单元，第二抽取单元1412用于在合并亮度数据中抽取出第二个亮度数据单元。第一抽取单元1411可以是卷积参数为W[1x2x1x1]的卷积层。第二抽取单元1412也可以是卷积参数为W[1x2x1x1]的卷积层。
可以理解，抽取模块1410包括的抽取单元的数量等于N。即亮度数据单元的数量可以和设置的抽取单元的数量相同。抽取模块1410包括的抽取单元可以都是卷积参数为W[1x2x1x1]的卷积层。
基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据，包括：
步骤1340，分别基于N个亮度数据单元各自的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据。
具体地，分别基于N个亮度数据单元各自的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据，可以是利用亮度通道超分网络，处理N个亮度数据单元各自的亮度通道数据，从而得到N个亮度数据单元各自的亮度通道超分数据，然后将N个亮度数据单元各自的亮度通道超分数据拼装起来，从而得到待处理图像的亮度通道超分数据。
通过对待处理图像的初始亮度通道数据进行基于图像区域的划分，得到N个亮度数据单元，然后，将N个亮度数据单元在深度维度进行合并，得到合并亮度数据，从而可以将合并亮度数据输入亮度通道超分网络。然后，亮度通道超分网络对合并亮度数据进行数据抽取，得到N个亮度数据单元各自的亮度通道数据，最后，分别基于N个亮度数据单元各自的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据。从而可以充分利用GPU或NPU的并行处理能力，提高图像处理的效率。
为了进一步利用GPU或NPU的并行处理能力，提高图像处理的效率，在本说明书一实施方式中，分别基于N个亮度数据单元各自的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据，可以包括：分别基于N个亮度数据单元各自的亮度通道数据并行进行基于小波变换的卷积处理，得到N个亮度数据单元各自的亮度通道超分数据，然后基于N个亮度数据单元各自的亮度通道超分数据，生成待处理图像的亮度通道超分数据。
在实际应用中，如图14所示，并行处理第一抽取单元1411和第二抽取单元1412输出的2个亮度数据单元各自的亮度通道数据。
上述详细说明了并行处理N个亮度数据单元各自的亮度通道数据的实施方式，下面结合图15详细说明串行处理N个亮度数据单元各自的亮度通道数据的实施方式。在本说明书一实施方式中，分别基于N个亮度数据单元各自的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据，包括：分别基于N个亮度数据单元各自的亮度通道数据串行进行基于小波变换的卷积处理，得到N个亮度数据单元各自的亮度通道超分数据，然后基于N个亮度数据单元各自的亮度通道超分数据，生成待处理图像的亮度通道超分数据。
在实际应用中，如图15所示，可以先处理第一抽取单元1411抽取出的亮度数据单元的亮度通道数据，再处理第二抽取单元1412抽取出的亮度数据单元的亮度通道数据，依次类推，直到所有抽取单元抽取出的亮度数据单元的亮度通道数据都被处理完，从而实现串行处理。
可以理解，图14所示的并行处理方式和图15所示的串行处理方式可以在同一个实施方式中使用，例如，抽取模块1410包括4个抽取单元，4个抽取单元抽取出的亮度数据单元的亮度通道数据分别用S1、S2、S3和S4表示。可以对S1和S2并行处理，得到处理结果{S1，S2}，对S3和S4并行处理，得到处理结果{S3，S4}，然后对{S1，S2}和{S3，S4}串行处理。
在图15所示的串行处理方式的基础上，为了进一步提高图像处理的准确性，可以设置串行引导模块1413。在本说明书一实施例中，分别基于N个亮度数据单元各自的亮度通道数据串行进行基于小波变换的卷积处理，得到N个亮度数据单元各自的亮度通道超分数据，包括：针对N个亮度数据单元中的非首次被处理的每个亮度数据单元，基于亮度数据单元对应的前一个被处理的亮度数据单元的亮度通道超分数据，确定亮度数据单元的超分引导数据；基于亮度数据单元的超分引导数据和亮度数据单元的亮度通道数据进行基于小波变换的卷积处理，得到亮度数据单元的亮度通道超分数据。
示例性地，如图15所示，针对第2个亮度数据单元，可以利用串行引导模块1413基于第1个亮度数据单元的亮度通道超分数据，确定第2个亮度数据单元的超分引导数据。然后利用亮度通道超分网络，处理第2个亮度数据单元的超分引导数据和第2个亮度数据单元的亮度通道数据，得到第2个亮度数据单元的亮度通道超分数据。
通过设置串行引导模块1413，可以使处理非首次被处理的每个亮度数据单元时，参考前一个被处理的亮度数据单元的亮度通道超分数据，从而进一步提高图像处理的准确性。
上面详解说明了图14所示的并行处理方式和图15所示的串行处理方式。下面结合图16详细说明另一实施方式。在本说明书一实施方式中，分别基于N个亮度数据单元各自的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据，包括：将N个亮度数据单元各自的亮度通道数据在深度维度进行拼接，得到深度维度为N*P的亮度通道拼接数据；基于亮度通道拼接数据进行基于小波变换的卷积处理，得到深度维度为N*P的亮度通道超分数据；对深度维度为N*P的亮度通道超分数据进行拼装，得到待处理图像的亮度通道超分数据。
具体地，每个亮度数据单元的亮度通道数据的维度均为P维，P为正整数。基于亮度通道拼接数据进行基于小波变换的卷积处理，得到深度维度为N*P的亮度通道超分数据，可以是利用亮度通道超分网络，处理亮度通道拼接数据，得到深度维度为N*P的亮度通道超分数据。
以N＝2，P＝1为例，每个亮度数据单元的亮度通道数据的维度可以是1x1x540x496，将2个亮度数据单元各自的亮度通道数据在深度维度进行拼接，得到的亮度通道拼接数据的维度为1x2x540x496。利用亮度通道超分网络，处理亮度通道拼接数据，得到的亮度通道超分数据的维度可以是1x2x1080x992。对亮度通道超分数据进行拼装，得到待处理图像的亮度通道超分数据可以是1x1x1080x1920。
本说明书实施方式(图16所示的实施方式)拼装后得到的待处理图像的亮度通道超分数据的维度，可以通过设置各个卷积层和反卷积层的卷积参数，实现与不进行划分(例如，图8和图10所示的实施方式)得到的待处理图像的亮度通道超分数据的维度相同。
下面针对单层卷积，说明如何实现拼合卷积，进而说明如何对深度维度为N*P的亮度通道超分数据进行拼装，得到待处理图像的亮度通道超分数据。
示例性地，卷积层的输入IN的维度是1xn1xhxw，经过该卷积层后，输出OUT的维度是1xn2xh1xw1(以该卷积层的步长为1，h＝h1、w＝w1举例)，该卷积层的卷积核为kernel[weight,bias]。其中，weight和bias均为卷积核的参数。weight的维度是n2xn1xkxk，k是weight的宽高，bias的维度是n2。那么，找一个卷积核kernel1[weight1,bias1]，weight1维度是(2xn2)x(2xn1)xkxk，卷积核bias1的维度是2xn2。可以将weight填入weight1，bias填入bias1(即，用参数为weight的卷积核拼装得到参数为weight1的卷积核)。例如：将weight1[0:n2,0:n1,:,:]和weight1[n2:2xn2,n1:2xn1,:,:]填入weight[:,:,:,:]，同时将bias1[0:n2]和bias1[n2:2xn2]填入bias[:]。填入后，可知weight1此时并没有被填满，weight1[0:n2,n1:2xn1,:,:]和weight1[n2:2xn2,0:n1,:,:]还是空的。如果将这部分空的都填0，kernel1[weight1,bias1]满足：两个输入IN1，IN2的维度都是1xn1xhxw，将IN1，IN2在第二个维度(深度维度)进行叠加得到组合输入INC，维度是1x(2xn1)xhxw，经过这个kernel1卷积计算后输出OUTC的维度是1x(2xn2)xh1xw1，记IN1，IN2分别过kernel卷积计算的输出分别是OUT1，OUT2，有OUTC[:,0:n1,:,:]＝OUT1，OUTC[:,n1:2xn1,:,:]＝OUT2。上述符号“:”表示可以根据实际需求确定的数值。
可以理解，weight填入weight1的方法并不唯一。例如，还可以这样填充：weight1[0:n2,num1,:,:]＝weight[:,i1,:,:]，weight1[n2:2xn2,num2,:,:]＝weight[:,i2,:,:]，其中0<＝i1,i2<＝n1-1，相应设置num1和num2满足0<＝num1，num2<＝2xn1-1且num1和num2之间互不相等。最后只要满足OUTC[:,0:n1,:,:]＝OUT1，OUTC[:,n1:2xn1,:,:]＝OUT2即可。
可以理解，weight填入weight1的方式可以根据实际需要确定，只要满足“{OUTC[:,Num1,:,:]}(一共n2个Num1)组成OUT1(OUTC[:,Num1,:,:]＝OUT1[:,j1,:,:],j1＝0,1,2,…,n2-1)、{OUTC[:,Num2,:,:]}(一共n2个Num2)组成OUT2(OUTC[:,Num2,:,:]＝OUT1[:,j2,:,:],j2＝0,1,2,…,n2-1)，Num1和Num2满足：0<＝Num1,Num2<＝2xn2-1且Num1和Num2之间互不相等”即可，本说明书实施方式不做具体限定。bias填入bias1的方式也变成bias1[Num1]＝bias[j1]，bias[Num2]＝bias[j2]。只要是符合上述“卷积拼合”的思想即可，本说明书实施方式不限定拼合的具体方式。
可以理解，拼合可以不限于两个卷积，可以是两个以上的卷积拼合。
针对上述的weight填充到weight1后，weight1是未被填满的，上述未填满的部分直接填0，相当于填0部分不起任何作用，比较浪费。为了将这部分也利用起来，提升拼合卷积的算法效果，未填满的部分可以不填0，下面给出详细说明。
未填满的部分的计算可以理解为计算分析输入给拼合卷积的IN1，IN2之间的相关性。如果IN1和IN2之间有信息互补，可以对互补的信息进行相关性分析，并将相关性分析结果传递表达到最终的输出。例如，IN1和IN2是一个视频的相邻两帧，具有较高的相似度，那么IN1里存在因为噪声或者模糊导致信息不明或不全的像素区域，在IN2里对应位置的像素区域可能噪声或者模糊并不严重甚至没有，那么把IN2这个区域的信息提取补给IN1对应区域，就可以提升IN1的画质。同理，IN1也可以将相关信息补给IN2，以提升IN2的画质。通过对卷积层组成的网络进行训练，可以使卷积层组成的网络能够识别出输入数据(例如，IN1和IN2，或其他输入数据)的相关性。在实际应用中，输入数据的相关性越大，输出的画质效果越好。即，上述实施方式中的OUTC[:,0:n1,:,:]画质超越OUT1，OUTC[:,n1:2xn1,:,:]画质超越OUT2。
可以理解，对卷积层组成的网络进行训练，可以是只对weight1中的未被填充weight的部分进行训练。为了提高训练效果，训练样本可以包括信息相关度大的样本、信息相关度中等的样本，信息相关度小的样本小以及信息相关度为零的样本。
上面详细说明了利用拼合卷积实现多帧图像输入和多帧图像输出的实施方式。同理，上述实施方式也可以是应用于多帧切块的情况。对应位置的切块拼合输给卷积拼合网络，每组切块被一个拼合网络处理，最后将每个拼合网络的输出拼合成最终的多帧输出。上述实施方式显著降低了视频处理的时间，且提高了输出视频的画质。
本说明书实施方式还提供了一种视频处理方法，包括：利用上述提及的图像处理方法，处理待处理视频的视频帧，得到待处理视频的视频帧对应的超分图像；基于待处理视频的视频帧对应的超分图像，生成待处理视频的超分辨视频数据。得到超分辨视频数据后，即可将超分辨视频数据播放出来，从而实现实时处理和实时播放。
本说明书实施方式还提供了一种神经网络模型，包括：包含类小波变换模块的亮度通道超分网络。类小波变换模块用于基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据。类小波变换模块的具体结构可以参考上述实施方式，在此不再赘述。亮度通道超分网络的具体结构可以参考上述实施方式，在此不再赘述。
上文结合图1至图16，详细描述了本说明书实施方式的方法实施例，下面结合图17至图19，详细描述本说明书实施方式的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
图17所示为本说明书一实施方式提供的图像处理装置的结构示意图。如图17所示，本说明书实施方式的图像处理装置1700包括亮度超分处理模块1710和超分图像生成模块1720。
具体地，亮度超分处理模块1710配置为，基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据。超分图像生成模块1720配置为，基于亮度通道超分数据，生成待处理图像对应的超分图像。在本说明书一实施方式中，基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据，包括：基于亮度通道数据进行模拟小波变换的卷积操作，得到亮度特征数据；基于亮度特征数据进行特征分析，得到亮度分析数据；基于亮度分析数据进行模拟小波逆变换的反卷积操作，得到亮度通道超分数据。在本说明书一实施方式中，基于亮度特征数据进行特征分析，得到亮度分析数据，包括：基于亮度特征数据进行第一卷积核尺寸的特征分析，得到第一分析数据；基于第一分析数据进行第二卷积核尺寸的特征分析，得到第二分析数据；基于第二分析数据进行第三卷积核尺寸的特征分析，得到亮度分析数据。
亮度超分处理模块1710进一步配置为，基于待处理图像的亮度通道数据进行基于小波变换的卷积处理和残差处理，得到亮度通道超分数据。示例性地，亮度通道超分网络在包括类小波变换模块的基础上，还包括残差模块。
亮度超分处理模块1710进一步配置为，利用对待处理图像的初始通道数据进行深度调整处理，得到亮度通道数据。示例性地，亮度通道超分网络还包括深度调整卷积模块。深度调整卷积模块的输出层深度是基于待处理图像的分辨率信息确定的。
图18所示为本说明书另一实施方式提供的图像处理装置的结构示意图。如图18所示，本说明书实施方式的超分图像生成模块1720包括色度提取单元1721、亮度引导单元1722、色度超分单元1723和融合单元1724。
具体地，色度提取单元1721配置为，基于待处理图像的色度通道数据进行色度特征提取操作，得到色度粗超分数据。亮度引导单元1722配置为，根据基于小波变换的卷积处理的输出数据，生成色度通道的超分引导数据，其中，超分引导数据用于表征待处理图像的细节纹理信息。色度超分单元1723配置为，基于超分引导数据，对色度粗超分数据进行色度特征分析操作，得到色度通道超分数据。融合单元1724配置为，基于色度通道超分数据和亮度通道超分数据，生成待处理图像对应的超分图像。
色度提取单元1721进一步配置为，基于色度通道数据进行全频段特征提取，得到全频段特征数据；基于全频段特征数据进行特征分析，得到色度粗超分数据。
色度超分单元1723进一步配置为，基于超分引导数据和色度粗超分数据进行合并，得到特征合并数据；基于特征合并数据进行特征分析，得到色度通道超分数据。或者，色度超分单元1723进一步配置为，基于超分引导数据进行第一精细特征分析，得到引导分析数据；基于色度粗超分数据进行第二精细特征分析，得到色度分析数据；对引导分析数据和色度分析数据进行求和，得到色度通道超分数据。
图19所示为本说明书另一实施方式提供的图像处理装置的结构示意图。如图19所示，本说明书实施方式的图像处理装置1700还包括：划分模块1730、合并模块1740和获取模块1750。
具体地，划分模块1730配置为，对待处理图像的初始亮度通道数据进行基于图像区域的划分，得到N个亮度数据单元，其中，N为大于1的正整数。合并模块1740配置为，将N个亮度数据单元在深度维度进行合并，得到合并亮度数据。获取模块1750配置为，对合并亮度数据进行数据抽取，得到N个亮度数据单元各自的亮度通道数据。
亮度超分处理模块1710进一步配置为，分别基于N个亮度数据单元各自的亮度通道数据进行基于小波变换的卷积处理，得到待处理图像的亮度通道超分数据。
亮度超分处理模块1710进一步配置为，分别基于N个亮度数据单元各自的亮度通道数据并行进行基于小波变换的卷积处理，得到N个亮度数据单元各自的亮度通道超分数据；基于N个亮度数据单元各自的亮度通道超分数据，生成待处理图像的亮度通道超分数据。
亮度超分处理模块1710进一步配置为，分别基于N个亮度数据单元各自的亮度通道数据串行进行基于小波变换的卷积处理，得到N个亮度数据单元各自的亮度通道超分数据；基于N个亮度数据单元各自的亮度通道超分数据，生成待处理图像的亮度通道超分数据。
亮度超分处理模块1710进一步配置为，针对N个亮度数据单元中的非首次被处理的每个亮度数据单元，基于亮度数据单元对应的前一个被处理的亮度数据单元的亮度通道超分数据，确定亮度数据单元的超分引导数据；基于亮度数据单元的超分引导数据和亮度数据单元的亮度通道数据进行基于小波变换的卷积处理，得到亮度数据单元的亮度通道超分数据。
亮度超分处理模块1710进一步配置为，将N个亮度数据单元各自的亮度通道数据在深度维度进行拼接，得到深度维度为N*P的亮度通道拼接数据，其中，每个亮度数据单元的亮度通道数据的维度均为P维，P为正整数；基于亮度通道拼接数据进行基于小波变换的卷积处理，得到深度维度为N*P的亮度通道超分数据；对深度维度为N*P的亮度通道超分数据进行拼装，得到待处理图像的亮度通道超分数据。
图17至图19提供的图像处理装置中的亮度超分处理模块1710、超分图像生成模块1720、划分模块1730、合并模块1740和获取模块1750，以及超分图像生成模块1720包括的色度提取单元1721、亮度引导单元1722、色度超分单元1723和融合单元1724的操作和功能可以参考上述图3至图16提供的图像处理方法，为了避免重复，在此不再赘述。
本说明书实施方式还提供了一种视频处理装置，包括：视频处理模块，配置为利用上述实施方式的图像处理方法，处理待处理视频的视频帧，得到待处理视频的视频帧对应的超分图像；超分辨视频生成模块，配置为基于待处理视频的视频帧对应的超分图像，生成待处理视频的超分辨视频数据。
图20所示为本说明书一实施方式提供的电子设备的结构示意图。如图20所示，该电子设备2000包括：一个或多个处理器2001和存储器2002；以及存储在存储器2002中的计算机程序指令，计算机程序指令在被处理器2001运行时使得处理器2001执行如上述任一实施例的图像处理方法。
处理器2001可以是中央处理单元(Central Processing Unit，CPU)或者具有数据传输能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器2002可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(Cache)等。非易失性存储器例如可以包括只读存储器(Read Only Memory，ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器2001可以运行程序指令，以实现上文的本说明书实施方式的各个实施例的图像处理方法中的步骤以及/或者其他期望的功能。
在一个示例中，电子设备2000还可以包括：输入装置2003和输出装置2004，这些组件通过总线系统和/或其他形式的连接机构(图20中未示出)互连。
此外，该输入装置2003还可以包括例如键盘、鼠标、麦克风等等。
该输出装置2004可以向外部输出各种信息。该输出装置2004可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图20中仅示出了该电子设备2000中与本说明书实施方式有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备2000还可以包括任何其他适当的组件。
除了上述方法和设备以外，本说明书实施方式的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的图像处理方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书实施方式操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本说明书实施方式的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本说明书实施方式各种实施例的图像处理方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)或闪存、光纤、便携式紧凑盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本说明书实施方式的基本原理，但是，需要指出的是，在本说明书实施方式中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本说明书实施方式的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本说明书实施方式为必须采用上述具体的细节来实现。
本说明书实施方式中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本说明书实施方式的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本说明书实施方式的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本说明书实施方式。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本说明书实施方式的范围。因此，本说明书实施方式不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本说明书实施方式的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
以上仅为本说明书实施方式的较佳实施例而已，并不用以限制本说明书实施方式，凡在本说明书实施方式的精神和原则之内，所作的任何修改、等同替换等，均应包含在本说明书实施方式的保护范围之内。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到所述待处理图像的亮度通道超分数据；
基于所述亮度通道超分数据，生成所述待处理图像对应的超分图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到所述待处理图像的亮度通道超分数据，包括：
基于所述亮度通道数据进行模拟小波变换的卷积操作，得到亮度特征数据；
基于所述亮度特征数据进行特征分析，得到亮度分析数据；
基于所述亮度分析数据进行模拟小波逆变换的反卷积操作，得到所述亮度通道超分数据。
3.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述亮度特征数据进行特征分析，得到亮度分析数据，包括：
基于所述亮度特征数据进行第一卷积核尺寸的特征分析，得到第一分析数据；
基于所述第一分析数据进行第二卷积核尺寸的特征分析，得到第二分析数据；
基于所述第二分析数据进行第三卷积核尺寸的特征分析，得到所述亮度分析数据。
4.根据权利要求1至3任一项所述的图像处理方法，其特征在于，所述基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到所述待处理图像的亮度通道超分数据，包括：
基于所述待处理图像的亮度通道数据进行所述基于小波变换的卷积处理和残差处理，得到所述亮度通道超分数据。
5.根据权利要求1至3任一项所述的图像处理方法，其特征在于，所述基于所述亮度通道超分数据，生成所述待处理图像对应的超分图像，包括：
基于所述待处理图像的色度通道数据进行色度特征提取操作，得到色度粗超分数据；
根据所述基于小波变换的卷积处理的输出数据，生成色度通道的超分引导数据，其中，所述超分引导数据用于表征所述待处理图像的细节纹理信息；
基于所述超分引导数据，对所述色度粗超分数据进行色度特征分析操作，得到色度通道超分数据；
基于所述色度通道超分数据和所述亮度通道超分数据，生成所述待处理图像对应的超分图像。
6.根据权利要求5所述的图像处理方法，其特征在于，所述基于所述待处理图像的色度通道数据进行色度特征提取操作，得到色度粗超分数据，包括：
基于所述色度通道数据进行全频段特征提取，得到全频段特征数据；
基于所述全频段特征数据进行特征分析，得到所述色度粗超分数据。
7.根据权利要求5所述的图像处理方法，其特征在于，所述基于所述超分引导数据，对所述色度粗超分数据进行色度特征分析操作，得到色度通道超分数据，包括：
基于所述超分引导数据和所述色度粗超分数据进行合并，得到特征合并数据；
基于所述特征合并数据进行特征分析，得到所述色度通道超分数据；
或者，所述基于所述超分引导数据，对所述色度粗超分数据进行色度特征分析操作，得到色度通道超分数据，包括：
基于所述超分引导数据进行第一精细特征分析，得到引导分析数据；
基于所述色度粗超分数据进行第二精细特征分析，得到色度分析数据；
对所述引导分析数据和所述色度分析数据进行求和，得到所述色度通道超分数据。
8.根据权利要求1至3任一项所述的图像处理方法，其特征在于，在所述基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到所述待处理图像的亮度通道超分数据之前，还包括：
对所述待处理图像的初始亮度通道数据进行基于图像区域的划分，得到N个亮度数据单元，其中，N为大于1的正整数；
将所述N个亮度数据单元在深度维度进行合并，得到合并亮度数据；
对所述合并亮度数据进行数据抽取，得到所述N个亮度数据单元各自的亮度通道数据；
其中，所述基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到所述待处理图像的亮度通道超分数据，包括：
分别基于所述N个亮度数据单元各自的亮度通道数据进行所述基于小波变换的卷积处理，得到所述待处理图像的亮度通道超分数据。
9.根据权利要求8所述的图像处理方法，其特征在于，所述分别基于所述N个亮度数据单元各自的亮度通道数据进行所述基于小波变换的卷积处理，得到所述待处理图像的亮度通道超分数据，包括：
分别基于所述N个亮度数据单元各自的亮度通道数据并行进行所述基于小波变换的卷积处理，得到所述N个亮度数据单元各自的亮度通道超分数据；
基于所述N个亮度数据单元各自的亮度通道超分数据，生成所述待处理图像的亮度通道超分数据。
10.根据权利要求8所述的图像处理方法，其特征在于，所述分别基于所述N个亮度数据单元各自的亮度通道数据进行所述基于小波变换的卷积处理，得到所述待处理图像的亮度通道超分数据，包括：
分别基于所述N个亮度数据单元各自的亮度通道数据串行进行所述基于小波变换的卷积处理，得到所述N个亮度数据单元各自的亮度通道超分数据；
基于所述N个亮度数据单元各自的亮度通道超分数据，生成所述待处理图像的亮度通道超分数据。
11.根据权利要求10所述的图像处理方法，其特征在于，所述分别基于所述N个亮度数据单元各自的亮度通道数据串行进行所述基于小波变换的卷积处理，得到所述N个亮度数据单元各自的亮度通道超分数据，包括：
针对所述N个亮度数据单元中的非首次被处理的每个亮度数据单元，
基于所述亮度数据单元对应的前一个被处理的亮度数据单元的亮度通道超分数据，确定所述亮度数据单元的超分引导数据；
基于所述亮度数据单元的超分引导数据和所述亮度数据单元的亮度通道数据进行所述基于小波变换的卷积处理，得到所述亮度数据单元的亮度通道超分数据。
12.一种视频处理方法，其特征在于，包括：
利用权利要求1至11任一项所述的图像处理方法，处理待处理视频的视频帧，得到所述待处理视频的视频帧对应的超分图像；
基于所述待处理视频的视频帧对应的超分图像，生成所述待处理视频的超分辨视频数据。
13.一种图像处理装置，其特征在于，包括：
亮度超分处理模块，配置为基于待处理图像的亮度通道数据进行基于小波变换的卷积处理，得到所述待处理图像的亮度通道超分数据；
超分图像生成模块，配置为基于所述亮度通道超分数据，生成所述待处理图像对应的超分图像。
14.一种视频处理装置，其特征在于，包括：
视频处理模块，配置为利用权利要求1至11任一项所述的图像处理方法，处理待处理视频的视频帧，得到所述待处理视频的视频帧对应的超分图像；
超分辨视频生成模块，配置为基于所述待处理视频的视频帧对应的超分图像，生成所述待处理视频的超分辨视频数据。
CN202210493073.3A 2022-05-07 2022-05-07 图像处理方法和装置、视频处理方法和装置 Pending CN114781622A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210493073.3A CN114781622A (zh) 2022-05-07 2022-05-07 图像处理方法和装置、视频处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210493073.3A CN114781622A (zh) 2022-05-07 2022-05-07 图像处理方法和装置、视频处理方法和装置

Publications (1)

Publication Number Publication Date
CN114781622A true CN114781622A (zh) 2022-07-22

Family

ID=82435833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210493073.3A Pending CN114781622A (zh) 2022-05-07 2022-05-07 图像处理方法和装置、视频处理方法和装置

Country Status (1)

Country Link
CN (1) CN114781622A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115580759A (zh) * 2022-10-10 2023-01-06 北京师范大学 一种智慧图书馆阅览桌

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115580759A (zh) * 2022-10-10 2023-01-06 北京师范大学 一种智慧图书馆阅览桌

Similar Documents

Publication Publication Date Title
US11949848B2 (en) Techniques to capture and edit dynamic depth images
JP2021185478A (ja) 代替インタフェースでのプレゼンテーションのための電子会話の解析
CN112272327B (zh) 数据处理方法、装置、存储介质及设备
CN114095744B (zh) 视频直播方法、装置、电子设备及可读存储介质
EP4030341A1 (en) Image recognition method, video playback method, related device, and medium
CN114781622A (zh) 图像处理方法和装置、视频处理方法和装置
CN114630057B (zh) 确定特效视频的方法、装置、电子设备及存储介质
CN113344794B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN112785669B (zh) 一种虚拟形象合成方法、装置、设备及存储介质
CN114139491A (zh) 一种数据处理方法、装置及存储介质
KR20220113772A (ko) 이종 클라이언트 엔드 포인트들로 스트리밍하기 위한 2d 비디오의 적응을 위한 뉴럴 네트워크 모델의 참조
CN111669476B (zh) 水印处理方法、装置、电子设备和介质
US20230336795A1 (en) Smart client for streaming of scene-based immersive media
KR102417055B1 (ko) 비디오 스트림의 후속 프로세싱을 위한 방법 및 디바이스
CN113538225A (zh) 模型训练方法及图像转换方法、装置、设备和存储介质
CN113282770A (zh) 一种多媒体推荐系统及方法
CN116193197A (zh) 一种数据处理方法、装置、设备以及可读存储介质
WO2002056595A1 (fr) Procede et equipement pour la gestion des interactions dans la norme mpeg-4
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
CN113068059A (zh) 视频直播方法、装置、设备及存储介质
CN114827666A (zh) 视频处理方法、装置及设备
CN114140363B (zh) 视频去模糊方法及装置、视频去模糊模型训练方法及装置
CN115499678B (zh) 视频直播方法、装置及直播服务器
WO2022116070A1 (en) Content-aware bifurcated upscaling
CN117280313A (zh) 用于将基于场景的沉浸式媒体流式传输到游戏引擎的智能客户端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination