CN110136066A - 面向视频的超分辨率方法、装置、设备和存储介质 - Google Patents

面向视频的超分辨率方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110136066A
CN110136066A CN201910432445.XA CN201910432445A CN110136066A CN 110136066 A CN110136066 A CN 110136066A CN 201910432445 A CN201910432445 A CN 201910432445A CN 110136066 A CN110136066 A CN 110136066A
Authority
CN
China
Prior art keywords
hypergraph
vector
channel
residual error
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910432445.XA
Other languages
English (en)
Other versions
CN110136066B (zh
Inventor
李超
何栋梁
刘霄
丁予康
文石磊
丁二锐
张赫男
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910432445.XA priority Critical patent/CN110136066B/zh
Publication of CN110136066A publication Critical patent/CN110136066A/zh
Priority to US16/810,986 priority patent/US10861133B1/en
Application granted granted Critical
Publication of CN110136066B publication Critical patent/CN110136066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提出一种面向视频的超分辨率方法、装置、设备和存储介质，其中的方法包括基于原始视频中的连续帧图像提取超图；将超图对应的超图向量输入残差卷积神经网络，得到残差卷积神经网络的输出结果；将残差卷积神经网络的输出结果输入空间上采样网络，得到超分辨率后的视频帧，原始视频的超分辨率视频包括多帧视频帧。本发明实施例的方法通过基于连续帧图像组成的超图来保留原始视频中的时域信息，并利用残差卷积神经网络和空间上采样网络对其进行建模，可以在与图像超分辨率网络同等量级的计算复杂度下，大幅提升视频超分辨率的效果。

Description

面向视频的超分辨率方法、装置、设备和存储介质
技术领域
本发明涉及视频处理技术领域，尤其涉及一种面向视频的超分辨率方法、装置、设备和存储介质。
背景技术
随着移动互联网的兴起，用户存储和转发信息的方式逐渐从文字、图片过渡到视频。然而，视频传输需要较高的网络带宽，视频的存储亦需要加大的硬盘空间。视频超分辨率技术可以将低分辨率的视频转换成高分辨率的视频。视频服务可以传输和存储较低分辨率的视频，为用户播放时利用超分辨率技术呈现出高分辨的视频，在节省带宽和存储空间的同时为用户提供优质的视频观看体验。现有的超分辨率技术中，利用图像超分辨率的方法对视频逐帧进行超分辨率，超分辨率效果较差，且无法处理视频中的动态模糊；利用光流、动作补偿等技术的超分辨率方法，计算量大，且由于依赖光流预训练，会将预训练中的误差传播到超分辨率任务中，导致超分辨率效果退化。
发明内容
本发明实施例提供一种面向视频的超分辨率方法、装置、设备和存储介质，以解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种面向视频的超分辨率方法，包括：
基于原始视频中的连续帧图像提取超图；
将所述超图对应的超图向量输入残差卷积神经网络，得到所述残差卷积神经网络的输出结果；
将所述残差卷积神经网络的输出结果输入空间上采样网络，得到超分辨率后的视频帧，所述原始视频的超分辨率视频包括多帧所述视频帧。
在一种实施方式中，将所述超图对应的超图向量输入残差卷积神经网络，包括：
按照时间顺序排列所述超图中每帧图像的通道，并将排列后的通道序列作为所述超图向量的通道维度信息，所述通道包括红色通道、绿色通道和蓝色通道；
将所述超图的长度和宽度分别作为所述超图向量的长度维度信息和宽度维度信息。
在一种实施方式中，所述残差卷积神经网络包括多层残差卷积模块，将所述超图对应的超图向量输入残差卷积神经网络，得到所述残差卷积神经网络的输出结果，还包括：
将第i-1个输入向量输入第i层残差卷积模块，得到第i个输出向量；
拼接所述第i个输出向量的通道维度信息与所述第i-1个输入向量的通道维度信息，并结合所述第i个输出向量中的长度维度信息和宽度维度信息，得到第i个输入向量；
其中，i为大于2的整数，当i等于1时，所述第i-1个输入向量为所述超图向量，当i等于预设值时，将所述第i个输入向量作为所述残差卷积神经网络的输出结果。
在一种实施方式中，将所述残差卷积神经网络的输出结果输入空间上采样网络，得到超分辨率后的视频帧，包括：
转换所述输出结果的尺寸，得到中间转换结果，其中，所述中间转换结果的尺寸等于所述输出结果的长度维度信息*所述输出结果的宽度维度信息*通道维度数，所述通道维度数等于f*f*3，f为预设的放大比例系数；
对所述中间转换结果执行通道空间转换操作，得到指定尺寸的所述视频帧，其中，所述指定尺寸等于(所述输出结果的长度维度信息*f)*(所述输出结果的宽度维度信息*f)。
在一种实施方式中，基于原始视频中的连续帧图像提取超图，包括：
在三维坐标系中，采用预设矩形框在时间轴方向上剖切所述连续帧图像，得到用立方体表示的超图，所述三维坐标系包括长度轴、宽度轴和所述时间轴；
将所述立方体作为所述超图。
在一种实施方式中，将所述立方体作为所述超图，包括：
对所述立方体执行增益操作，得到所述超图，所述增益操作包括在所述长度轴上的翻转、在所述宽度轴上的翻转、在所述时间轴上的翻转以及在所述长度轴和所述宽度轴所在平面上的旋转中的至少一种。
第二方面，本发明实施例提供一种面向视频的超分辨率装置，包括：
提取模块，用于基于原始视频中的连续帧图像提取超图；
第一输入模块，用于将所述超图对应的超图向量输入残差卷积神经网络，得到所述残差卷积神经网络的输出结果；
第二输入模块，用于将所述残差卷积神经网络的输出结果输入空间上采样网络，得到超分辨率后的视频帧，所述原始视频的超分辨率视频包括多帧所述视频帧。
在一种实施方式中，所述第一输入模块包括：
通道维度信息确定子模块，用于按照时间顺序排列所述超图中每帧图像的通道，并将排列后的通道序列作为所述超图向量的通道维度信息，所述通道包括红色通道、绿色通道和蓝色通道；
长宽维度信息确定子模块，用于将所述超图的长度和宽度分别作为所述超图向量的长度维度信息和宽度维度信息。
在一种实施方式中，所述残差卷积神经网络包括多层残差卷积模块，所述第一输入模块还包括：
输入子模块，用于将第i-1个输入向量输入第i层残差卷积模块，得到第i个输出向量；
拼接子模块，用于拼接所述第i个输出向量的通道维度信息与所述第i-1个输入向量的通道维度信息，并结合所述第i个输出向量中的长度维度信息和宽度维度信息，得到第i个输入向量；
其中，i为大于2的整数，当i等于1时，所述第i-1个输入向量为所述超图向量，当i等于预设值时，将所述第i个输入向量作为所述残差卷积神经网络的输出结果。
在一种实施方式中，所述第二输入模块包括：
第一转换子模块，用于转换所述输出结果的尺寸，得到中间转换结果，其中，所述中间转换结果的尺寸等于所述输出结果的长度维度信息*所述输出结果的宽度维度信息*通道维度数，所述通道维度数等于f*f*3，f为预设的放大比例系数；
第二转换子模块，用于对所述中间转换结果执行通道空间转换操作，得到指定尺寸的所述视频帧，其中，所述指定尺寸等于(所述输出结果的长度维度信息*f)*(所述输出结果的宽度维度信息*f)。
在一种实施方式中，所述提取模块包括：
立方体得到子模块，用于在三维坐标系中，采用预设矩形框在时间轴方向上剖切所述连续帧图像，得到立方体，所述三维坐标系包括长度轴、宽度轴和所述时间轴；
超图确定子模块，用于将所述立方体作为所述超图。
在一种实施方式中，所述超图确定子模块包括：
增益单元，用于对所述立方体执行增益操作，得到所述超图，所述增益操作包括在所述长度轴上的翻转、在所述宽度轴上的翻转、在所述时间轴上的翻转以及在所述长度轴和所述宽度轴所在平面上的旋转中的至少一种。
第三方面，本发明实施例提供了一种面向视频的超分辨率设备，所述设备的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，所述设备的结构中包括处理器和存储器，所述存储器用于存储支持所述设备执行上述面向视频的超分辨率方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述设备还可以包括通信接口，用于与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储面向视频的超分辨率设备所用的计算机软件指令，其包括用于执行上述面向视频的超分辨率方法所涉及的程序。
上述技术方案通过基于连续帧图像组成的超图来保留原始视频中的时域信息，并利用残差卷积神经网络和空间上采样网络对其进行建模，可以在与图像超分辨率网络同等量级的计算复杂度下，大幅提升视频超分辨率的效果。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1示出根据本发明实施例的面向视频的超分辨率方法的流程图。
图2示出根据本发明实施例的一种实施方式中的面向视频的超分辨率方法的流程图。
图3示出根据本发明实施例的一个示例中的面向视频的超分辨率方法的过程示意图。
图4示出根据本发明实施例的面向视频的超分辨率装置的结构框图。
图5示出根据本发明实施例的一种实施方式中的面向视频的超分辨率装置的结构框图。
图6示出根据本发明实施例的面向视频的超分辨率设备的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明实施例的面向视频的超分辨率方法的流程图。如图1所示，该方法可以包括：
步骤S101、基于原始视频中的连续帧图像提取超图。
可以从原始视频均匀抽样视频片段，然后从视频片段中随机选取固定长度连续帧图像。该连续帧图像可以包括按照时间顺序排列的多帧图像序列。基于该连续帧图像提取超图(Hypergraph)。其中，超图为一种广义上的图，它的一条边可以连接任意数量的顶点。形式上，超图可以为多个顶点元素和连接边元素的集合。也就是说，该连续帧图像也可以构成超图。
在一种实施方式中，超图可以采用下面的方法从连续帧图像中提取：在三维坐标系中，采用预设矩形框在时间轴方向上剖切所述连续帧图像，得到立方体，所述三维坐标系包括长度轴、宽度轴和所述时间轴；将所述立方体作为所述超图。这样，可以从连续帧图像中的每帧图像截取到一个预设大小的矩形区域，并且每帧图像所截取的矩形区域是对齐的。进而，可以得到一个有长度信息、宽度信息和时域信息的立方体，该立方体可以作为超图。
在一种实施方式中，可以对上述立方体进一步执行增益操作，得到所述超图。所述增益操作包括在所述长度轴上的翻转、在所述宽度轴上的翻转、在所述时间轴上的翻转以及在所述长度轴和所述宽度轴所在平面上的旋转中的至少一种。其中，旋转角度可以为90度。也就是说，在将一个超图输入模型之前，可以对其进行预处理。在一个示例中，三维坐标系的横轴为长度轴，纵轴为宽度轴，竖轴为时间轴，对立方体(超图)在长度轴上的翻转表现为水平翻转超图，对超图在宽度轴上的翻转表现为垂直翻转超图。
步骤S102、将所述超图对应的超图向量输入残差卷积神经网络，得到所述残差卷积神经网络的输出结果。
在一个示例中，可以将预处理后的超图用超图向量表示。超图向量包括长度维度信息、宽度维度信息和时域维度信息。其中，超图向量的长度维度信息可以为超图在三维坐标系中的长度，超图向量的宽度维度信息可以为超图在三维坐标系中的宽度，超图向量的时域维度信息可以用超图的通道维度信息表征。
在超图中，每帧图像具有红色(Red，R)通道、绿色(Green，R)通道和蓝色(Blue，B)通道，即RGB三个通道。在一种实施方式中，可以按照时间顺序排列所述超图中每帧图像的通道，并将排列后的通道序列作为所述超图向量的通道维度信息，用以表征超图向量的时域维度信息。
例如：超图由T帧图像组成。可以将T帧图像的三个通道按照时间顺序依次排列，得到3T个通道组成的通道序列。原始视频中的时域信息即可以用通道维度信息体现。需要说明的是，在排列过程中，每帧图像中的通道排列顺序一致，如都是按照R通道、G通道和B通道的顺序排列。
进一步地，将具有长度维度信息、宽度维度信息(空间信息)和通道维度信息(时域信息)的超图向量输入残差卷积神经网络。残差卷积神经网络对超图向量进行卷积运算和残差学习。在卷积运算中，通道维度上属于不同时刻的RGB像素，同时参与卷积运算，时域信息得以最大限度的利用，从而可以提高超分辨率的效果。
在一种实施方式中，残差卷积神经网络可以包括多层残差卷积模块，如i层，其中i为正整数，并可以预先设置。在步骤S102中可以包括：将第i-1个输入向量输入第i层残差卷积模块，得到第i个输出向量；拼接所述第i个输出向量的通道维度信息与所述第i-1个输入向量的通道维度信息，并结合所述第i个输出向量中的长度维度信息和宽度维度信息，得到第i个输入向量。其中，i为大于2的整数，当i等于1时，所述第i-1个输入向量为所述超图向量，当i等于预设值时，将所述第i个输入向量作为所述残差卷积神经网络的输出结果。
其中，每个输出向量和输入向量均包括长度维度信息、宽度维度信息和通道维度信息。在一个示例中，将超图向量输入第1层残差卷积模块，得到第1个输出向量；将第1个输入向量输入第2层残差卷积模块，得到第2个输出向量，其中，第1个输入向量的长度维度信息、宽度维度信息以及通道维度信息分别为第1个输出向量的长度维度信息、第1个输出向量的宽度维度信息，以及第1个输出向量和超图向量的通道维度信息的拼接结果；将第2个输入向量输入第3层残差卷积模块，得到第3个输出向量。其中，第2个输入向量的长度维度信息、宽度维度信息以及通道维度信息分别为第2个输出向量的长度维度信息、第2个输出向量的宽度维度信息，以及第2个输出向量和第1个输入向量的通道维度信息的拼接结果；按照此方法依次进行，直到i等于预设值，得到残差卷积神经网络的输出结果。
步骤S103、将所述残差卷积神经网络的输出结果输入空间上采样网络，得到超分辨率后的视频帧，所述原始视频的超分辨率视频包括多帧所述视频帧。
空间上采样网络可以接收特定长度和宽度的输入，并将其长度和宽度各自放大设定的倍数，并利用输出结果中各个像素点的空间信息和时域信息，生成超分辨率后的视频帧。空间上采样网络的输入即为残差卷积神经网络的输出结果。由于残差卷积神经网络的输出结果中包含了超图中的时域信息，并且这些时域信息经过了残差卷积网络的建模，因此本发明实施例的方法可以在空间维度和时间维度上对视频超分辨率。
在一种实施方式中，如图2所示，在步骤S103中，可以包括：
步骤S201、转换所述输出结果的尺寸，得到中间转换结果，其中，所述中间转换结果的尺寸等于所述输出结果的长度维度信息*所述输出结果的宽度维度信息*通道维度数，所述通道维度数等于f*f*3，f为预设的放大比例系数；
步骤S202、对所述中间转换结果执行通道空间转换操作，得到指定尺寸的所述视频帧，其中，所述指定尺寸等于(所述输出结果的长度维度信息*f)*(所述输出结果的宽度维度信息*f)。
在一个示例中，残差卷积神经网络的输出结果的长度维度信息为10，宽度维度信息为10，通道维度信息为C。空间上采样网络的输入为10*10*C的张量。空间上采样网络首先将输入的尺寸转换为10*10*(f*f*3)，即将残差卷积神经网络的输出结果中的每个RGB像素点生成(f*f)个子像素点；然后，经过通道-空间的转换操作(通道空间转换操作)，生成指定尺寸为(10*f)*(10*f)的视频帧。
根据本发明实施例的上述方法可以将原始视频中的每段连续帧图像分别转换为超分辨率后的视频帧，进而得到原始视频的超分辨率视频。图3示出了本发明实施例的超分辨率示例的过程示意图。如图3所示，在本示例中，从原始视频中提取连续帧超图，将预处理后的连续帧超图输入残差卷积神经网络和空间上采样网络构成的模型，得到超分辨率后的视频。
本发明实施例中，通过连续帧图像组成的超图来保留视频中的时域信息，并利用残差卷积神经网络和空间上采样网络对超图中的时域信息进行深度建模，以提高超分辨率的效果。采用空间上采样网络建模，摒弃了传统的反卷积运算，可以避免人工瑕疵的问题，并且可以更直接地对输入张量中的时域和空间信息进行建模，从而提高视频超分辨率的效果。本发明实施例的超分辨率方法对比于现有的视频超分辨方法，计算复杂度大幅度降低且与图像超分辨率方法的计算复杂度相持平；由于不依赖光流、动作补偿，可以避免引入额外误差，超分辨率的视觉效果显著提升。
图4示出根据本发明实施例的面向视频的超分辨率装置的结果框图。如图4所示，该装置可以包括：
提取模块401，用于基于原始视频中的连续帧图像提取超图；
第一输入模块402，用于将所述超图对应的超图向量输入残差卷积神经网络，得到所述残差卷积神经网络的输出结果；
第二输入模块403，用于将所述残差卷积神经网络的输出结果输入空间上采样网络，得到超分辨率后的视频帧，所述原始视频的超分辨率视频包括多帧所述视频帧。
在一种实施方式中，如图5所示，第一输入模块402可以包括：
通道维度信息确定子模块501，用于按照时间顺序排列所述超图中每帧图像的通道，并将排列后的通道序列作为所述超图向量的通道维度信息，所述通道包括红色通道、绿色通道和蓝色通道；
长宽维度信息确定子模块502，用于将所述超图的长度和宽度分别作为所述超图向量的长度维度信息和宽度维度信息。
在一种实施方式中，所述残差卷积神经网络包括多层残差卷积模块，如图5所示，第一输入模块402还可以包括：
输入子模块503，用于将第i-1个输入向量输入第i层残差卷积模块，得到第i个输出向量；
拼接子模块504，用于拼接所述第i个输出向量的通道维度信息与所述第i-1个输入向量的通道维度信息，并结合所述第i个输出向量中的长度维度信息和宽度维度信息，得到第i个输入向量；
其中，i为大于2的整数，当i等于1时，所述第i-1个输入向量为所述超图向量，当i等于预设值时，将所述第i个输入向量作为所述残差卷积神经网络的输出结果。
在一种实施方式中，如图5所示，第二输入模块403可以包括：
第一转换子模块505，用于转换所述输出结果的尺寸，得到中间转换结果，其中，所述中间转换结果的尺寸等于所述输出结果的长度维度信息*所述输出结果的宽度维度信息*通道维度数，所述通道维度数等于f*f*3，f为预设的放大比例系数；
第二转换子模块506，用于对所述中间转换结果执行通道空间转换操作，得到指定尺寸的所述视频帧，其中，所述指定尺寸等于(所述输出结果的长度维度信息*f)*(所述输出结果的宽度维度信息*f)。
在一种实施方式中，如图5所示，提取模块101可以包括：
立方体得到子模块507，用于在三维坐标系中，采用预设矩形框在时间轴方向上剖切所述连续帧图像，得到立方体，所述三维坐标系包括长度轴、宽度轴和所述时间轴；
超图确定子模块508，用于将所述立方体作为所述超图。
在一种实施方式中，如图5所示，超图确定子模块508可以包括：
增益单元509，用于对所述立方体执行增益操作，得到所述超图，所述增益操作包括在所述长度轴上的翻转、在所述宽度轴上的翻转、在所述时间轴上的翻转以及在所述长度轴和所述宽度轴所在平面上的旋转中的至少一种。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
图6示出根据本发明实施例的面向视频的超分辨率设备的结构框图。如图6所示，该设备可以包括：存储器601和处理器602，存储器601内存储有可在处理器602上运行的计算机程序。所述处理器602执行所述计算机程序时实现上述实施例中的面向视频的超分辨率方法。所述存储器601和处理器602的数量可以为一个或多个。
该设备还可以包括：
通信接口603，用于与外界设备进行通信，进行数据交互传输。
存储器601可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现，则存储器601、处理器602和通信接口603可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandard Architecture)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器601、处理器602及通信接口603集成在一块芯片上，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种面向视频的超分辨率方法，其特征在于，包括：
基于原始视频中的连续帧图像提取超图；
将所述超图对应的超图向量输入残差卷积神经网络，得到所述残差卷积神经网络的输出结果；
将所述残差卷积神经网络的输出结果输入空间上采样网络，得到超分辨率后的视频帧，所述原始视频的超分辨率视频包括多帧所述视频帧。
2.根据权利要求1所述的方法，其特征在于，将所述超图对应的超图向量输入残差卷积神经网络，包括：
按照时间顺序排列所述超图中每帧图像的通道，并将排列后的通道序列作为所述超图向量的通道维度信息，所述通道包括红色通道、绿色通道和蓝色通道；
将所述超图的长度和宽度分别作为所述超图向量的长度维度信息和宽度维度信息。
3.根据权利要求2所述的方法，其特征在于，所述残差卷积神经网络包括多层残差卷积模块，将所述超图对应的超图向量输入残差卷积神经网络，得到所述残差卷积神经网络的输出结果，还包括：
将第i-1个输入向量输入第i层残差卷积模块，得到第i个输出向量；
拼接所述第i个输出向量的通道维度信息与所述第i-1个输入向量的通道维度信息，并结合所述第i个输出向量中的长度维度信息和宽度维度信息，得到第i个输入向量；
其中，i为大于2的整数，当i等于1时，所述第i-1个输入向量为所述超图向量，当i等于预设值时，将所述第i个输入向量作为所述残差卷积神经网络的输出结果。
4.根据权利要求1所述的方法，其特征在于，将所述残差卷积神经网络的输出结果输入空间上采样网络，得到超分辨率后的视频帧，包括：
转换所述输出结果的尺寸，得到中间转换结果，其中，所述中间转换结果的尺寸等于所述输出结果的长度维度信息*所述输出结果的宽度维度信息*通道维度数，所述通道维度数等于f*f*3，f为预设的放大比例系数；
对所述中间转换结果执行通道空间转换操作，得到指定尺寸的所述视频帧，其中，所述指定尺寸等于(所述输出结果的长度维度信息*f)*(所述输出结果的宽度维度信息*f)。
5.根据权利要求1至4任一项所述的方法，其特征在于，基于原始视频中的连续帧图像提取超图，包括：
在三维坐标系中，采用预设矩形框在时间轴方向上剖切所述连续帧图像，得到用立方体表示的超图，所述三维坐标系包括长度轴、宽度轴和所述时间轴；
将所述立方体作为所述超图。
6.根据权利要求5所述的方法，其特征在于，将所述立方体作为所述超图，包括：
对所述立方体执行增益操作，得到所述超图，所述增益操作包括在所述长度轴上的翻转、在所述宽度轴上的翻转、在所述时间轴上的翻转以及在所述长度轴和所述宽度轴所在平面上的旋转中的至少一种。
7.一种面向视频的超分辨率装置，其特征在于，包括：
提取模块，用于基于原始视频中的连续帧图像提取超图；
第一输入模块，用于将所述超图对应的超图向量输入残差卷积神经网络，得到所述残差卷积神经网络的输出结果；
第二输入模块，用于将所述残差卷积神经网络的输出结果输入空间上采样网络，得到超分辨率后的视频帧，所述原始视频的超分辨率视频包括多帧所述视频帧。
8.根据权利要求7所述的装置，其特征在于，所述第一输入模块包括：
通道维度信息确定子模块，用于按照时间顺序排列所述超图中每帧图像的通道，并将排列后的通道序列作为所述超图向量的通道维度信息，所述通道包括红色通道、绿色通道和蓝色通道；
长宽维度信息确定子模块，用于将所述超图的长度和宽度分别作为所述超图向量的长度维度信息和宽度维度信息。
9.根据权利要求8所述的装置，其特征在于，所述残差卷积神经网络包括多层残差卷积模块，所述第一输入模块还包括：
输入子模块，用于将第i-1个输入向量输入第i层残差卷积模块，得到第i个输出向量；
拼接子模块，用于拼接所述第i个输出向量的通道维度信息与所述第i-1个输入向量的通道维度信息，并结合所述第i个输出向量中的长度维度信息和宽度维度信息，得到第i个输入向量；
其中，i为大于2的整数，当i等于1时，所述第i-1个输入向量为所述超图向量，当i等于预设值时，将所述第i个输入向量作为所述残差卷积神经网络的输出结果。
10.根据权利要求7所述的装置，其特征在于，所述第二输入模块包括：
第一转换子模块，用于转换所述输出结果的尺寸，得到中间转换结果，其中，所述中间转换结果的尺寸等于所述输出结果的长度维度信息*所述输出结果的宽度维度信息*通道维度数，所述通道维度数等于f*f*3，f为预设的放大比例系数；
第二转换子模块，用于对所述中间转换结果执行通道空间转换操作，得到指定尺寸的所述视频帧，其中，所述指定尺寸等于(所述输出结果的长度维度信息*f)*(所述输出结果的宽度维度信息*f)。
11.根据权利要求7至10任一项所述的装置，其特征在于，所述提取模块包括：
立方体得到子模块，用于在三维坐标系中，采用预设矩形框在时间轴方向上剖切所述连续帧图像，得到立方体，所述三维坐标系包括长度轴、宽度轴和所述时间轴；
超图确定子模块，用于将所述立方体作为所述超图。
12.根据权利要求11所述的装置，其特征在于，所述超图确定子模块包括：
增益单元，用于对所述立方体执行增益操作，得到所述超图，所述增益操作包括在所述长度轴上的翻转、在所述宽度轴上的翻转、在所述时间轴上的翻转以及在所述长度轴和所述宽度轴所在平面上的旋转中的至少一种。
13.一种面向视频的超分辨率设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
CN201910432445.XA 2019-05-23 2019-05-23 面向视频的超分辨率方法、装置、设备和存储介质 Active CN110136066B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910432445.XA CN110136066B (zh) 2019-05-23 2019-05-23 面向视频的超分辨率方法、装置、设备和存储介质
US16/810,986 US10861133B1 (en) 2019-05-23 2020-03-06 Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910432445.XA CN110136066B (zh) 2019-05-23 2019-05-23 面向视频的超分辨率方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110136066A true CN110136066A (zh) 2019-08-16
CN110136066B CN110136066B (zh) 2023-02-24

Family

ID=67572454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910432445.XA Active CN110136066B (zh) 2019-05-23 2019-05-23 面向视频的超分辨率方法、装置、设备和存储介质

Country Status (2)

Country Link
US (1) US10861133B1 (zh)
CN (1) CN110136066B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647934A (zh) * 2019-09-20 2020-01-03 北京百度网讯科技有限公司 视频超分辨率重建模型的训练方法、装置和电子设备
CN110647936A (zh) * 2019-09-20 2020-01-03 北京百度网讯科技有限公司 视频超分辨率重建模型的训练方法、装置和电子设备
CN111369438A (zh) * 2020-02-28 2020-07-03 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112449140A (zh) * 2019-08-29 2021-03-05 华为技术有限公司 视频超分辨率处理方法及装置
CN112818801A (zh) * 2021-01-26 2021-05-18 每步科技(上海)有限公司 运动计数方法、识别装置、识别系统及存储介质
CN113301343A (zh) * 2020-02-21 2021-08-24 阿里巴巴集团控股有限公司 在视频超分辨率中使用解码器信息的系统和方法
WO2021179954A1 (zh) * 2020-03-13 2021-09-16 百果园技术(新加坡)有限公司 视频处理方法、装置、设备及存储介质
CN113556496A (zh) * 2020-04-23 2021-10-26 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
WO2021233008A1 (zh) * 2020-05-21 2021-11-25 腾讯科技（深圳）有限公司 一种超分辨率重建方法和相关装置
WO2022027818A1 (zh) * 2020-08-07 2022-02-10 深圳先进技术研究院 数据批处理方法及其批处理装置、存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991619A (zh) * 2019-12-09 2020-04-10 Oppo广东移动通信有限公司 神经网络处理器、芯片和电子设备
US11200644B2 (en) * 2020-02-27 2021-12-14 Fotonation Limited Video super resolution method
CN112565628B (zh) * 2020-12-01 2022-03-29 合肥工业大学 一种卡通视频重制方法及系统
CN112801877B (zh) * 2021-02-08 2022-08-16 南京邮电大学 一种视频帧的超分辨率重构方法
CN113592709B (zh) * 2021-02-19 2023-07-25 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN114331849B (zh) * 2022-03-15 2022-06-10 之江实验室 一种跨模态核磁共振超分网络及图像超分辨率方法
WO2023229645A1 (en) * 2022-05-25 2023-11-30 Innopeak Technology, Inc. Frame-recurrent video super-resolution for raw images
CN117061826B (zh) * 2023-10-12 2024-02-02 深圳云天畅想信息科技有限公司 流媒体时空视频渲染方法、装置及计算机设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003032196A2 (fr) * 2001-10-12 2003-04-17 Commissariat A L'energie Atomique Procede d'indexation et de comparaison de documents multimedia
CN101474083A (zh) * 2009-01-15 2009-07-08 西安交通大学 血管力学特性超分辨成像与多参数检测的系统与方法
CN101522099A (zh) * 2006-08-03 2009-09-02 Bsp生物信号处理有限公司 利用高频qrs电位分析识别心肌缺血的装置和方法
CN101843504A (zh) * 2010-04-24 2010-09-29 深圳市威尔德医疗电子股份有限公司 一种可实现远程诊断的3g掌上b超及其实现方法
CN103295197A (zh) * 2013-05-21 2013-09-11 西安电子科技大学 基于字典学习和双边正则的图像超分辨率重建方法
CN104820992A (zh) * 2015-05-19 2015-08-05 北京理工大学 一种基于超图模型的遥感图像语义相似性度量方法及装置
CN105513014A (zh) * 2016-01-21 2016-04-20 集美大学 一种多帧图像超分辨率重建方法及其重建系统
CN105631879A (zh) * 2015-12-30 2016-06-01 哈尔滨工业大学 一种基于线型阵列的超声层析成像系统及方法
CN106248340A (zh) * 2016-07-08 2016-12-21 西南科技大学 一种基于三维超声成像技术的风洞模型3d冰形在线测量方法
CN106600564A (zh) * 2016-12-23 2017-04-26 潘敏 一种新型图像增强方法
CN108109109A (zh) * 2017-12-22 2018-06-01 浙江大华技术股份有限公司 一种超分辨率图像重构方法、装置、介质及计算设备
CN108765511A (zh) * 2018-05-30 2018-11-06 重庆大学 基于深度学习的超声图像超分辨率重建方法
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法
CN109671023A (zh) * 2019-01-24 2019-04-23 江苏大学 一种人脸图像超分辨率二次重建方法
CN109671062A (zh) * 2018-12-11 2019-04-23 成都智能迭迦科技合伙企业(有限合伙) 超声图像检测方法、装置、电子设备及可读存储介质
CN109741263A (zh) * 2019-01-11 2019-05-10 四川大学 基于自适应联合约束的遥感图像超分辨率重建算法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2555136A (en) * 2016-10-21 2018-04-25 Nokia Technologies Oy A method for analysing media content
JP6929047B2 (ja) * 2016-11-24 2021-09-01 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
US11651273B2 (en) * 2018-04-19 2023-05-16 National University Of Singapore Machine learning using partial order hypergraphs

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003032196A2 (fr) * 2001-10-12 2003-04-17 Commissariat A L'energie Atomique Procede d'indexation et de comparaison de documents multimedia
CN101522099A (zh) * 2006-08-03 2009-09-02 Bsp生物信号处理有限公司 利用高频qrs电位分析识别心肌缺血的装置和方法
CN101474083A (zh) * 2009-01-15 2009-07-08 西安交通大学 血管力学特性超分辨成像与多参数检测的系统与方法
CN101843504A (zh) * 2010-04-24 2010-09-29 深圳市威尔德医疗电子股份有限公司 一种可实现远程诊断的3g掌上b超及其实现方法
CN103295197A (zh) * 2013-05-21 2013-09-11 西安电子科技大学 基于字典学习和双边正则的图像超分辨率重建方法
CN104820992A (zh) * 2015-05-19 2015-08-05 北京理工大学 一种基于超图模型的遥感图像语义相似性度量方法及装置
CN105631879A (zh) * 2015-12-30 2016-06-01 哈尔滨工业大学 一种基于线型阵列的超声层析成像系统及方法
CN105513014A (zh) * 2016-01-21 2016-04-20 集美大学 一种多帧图像超分辨率重建方法及其重建系统
CN106248340A (zh) * 2016-07-08 2016-12-21 西南科技大学 一种基于三维超声成像技术的风洞模型3d冰形在线测量方法
CN106600564A (zh) * 2016-12-23 2017-04-26 潘敏 一种新型图像增强方法
CN108109109A (zh) * 2017-12-22 2018-06-01 浙江大华技术股份有限公司 一种超分辨率图像重构方法、装置、介质及计算设备
CN108765511A (zh) * 2018-05-30 2018-11-06 重庆大学 基于深度学习的超声图像超分辨率重建方法
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法
CN109671062A (zh) * 2018-12-11 2019-04-23 成都智能迭迦科技合伙企业(有限合伙) 超声图像检测方法、装置、电子设备及可读存储介质
CN109741263A (zh) * 2019-01-11 2019-05-10 四川大学 基于自适应联合约束的遥感图像超分辨率重建算法
CN109671023A (zh) * 2019-01-24 2019-04-23 江苏大学 一种人脸图像超分辨率二次重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于福江: "基于MAP框架的改进图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
魏士俨 等: "月球虹湾DEM超分辨率重建算法研究", 《测绘科学》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112449140A (zh) * 2019-08-29 2021-03-05 华为技术有限公司 视频超分辨率处理方法及装置
US11922599B2 (en) 2019-08-29 2024-03-05 Huawei Technologies Co., Ltd. Video super-resolution processing method and apparatus
CN112449140B (zh) * 2019-08-29 2021-09-14 华为技术有限公司 视频超分辨率处理方法及装置
CN110647934B (zh) * 2019-09-20 2022-04-08 北京百度网讯科技有限公司 视频超分辨率重建模型的训练方法、装置和电子设备
CN110647936A (zh) * 2019-09-20 2020-01-03 北京百度网讯科技有限公司 视频超分辨率重建模型的训练方法、装置和电子设备
CN110647934A (zh) * 2019-09-20 2020-01-03 北京百度网讯科技有限公司 视频超分辨率重建模型的训练方法、装置和电子设备
CN113301343A (zh) * 2020-02-21 2021-08-24 阿里巴巴集团控股有限公司 在视频超分辨率中使用解码器信息的系统和方法
CN111369438A (zh) * 2020-02-28 2020-07-03 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111369438B (zh) * 2020-02-28 2022-07-26 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2021179954A1 (zh) * 2020-03-13 2021-09-16 百果园技术(新加坡)有限公司 视频处理方法、装置、设备及存储介质
CN113556496A (zh) * 2020-04-23 2021-10-26 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
CN113556496B (zh) * 2020-04-23 2022-08-09 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
WO2021233008A1 (zh) * 2020-05-21 2021-11-25 腾讯科技（深圳）有限公司 一种超分辨率重建方法和相关装置
WO2022027818A1 (zh) * 2020-08-07 2022-02-10 深圳先进技术研究院 数据批处理方法及其批处理装置、存储介质
CN112818801A (zh) * 2021-01-26 2021-05-18 每步科技(上海)有限公司 运动计数方法、识别装置、识别系统及存储介质
CN112818801B (zh) * 2021-01-26 2024-04-26 每步科技(上海)有限公司 运动计数方法、识别装置、识别系统及存储介质

Also Published As

Publication number Publication date
US20200372609A1 (en) 2020-11-26
US10861133B1 (en) 2020-12-08
CN110136066B (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
CN110136066A (zh) 面向视频的超分辨率方法、装置、设备和存储介质
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
CN111105352B (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN109146788A (zh) 基于深度学习的超分辨率图像重建方法和装置
CN104252700B (zh) 一种红外图像的直方图均衡化方法
WO2018086354A1 (zh) 图像升频系统及其训练方法、以及图像升频方法
CN110163237A (zh) 模型训练及图像处理方法、装置、介质、电子设备
KR102221225B1 (ko) 영상 화질 개선방법 및 그 장치
CN104469179A (zh) 一种将动态图片结合到手机视频中的方法
CN107431770A (zh) 自适应线性亮度域视频流水线架构
CN106780363B (zh) 一种图片处理方法、装置及电子设备
CN106815802A (zh) 一种图像拼接方法及装置
CN110136057B (zh) 一种图像超分辨率重建方法、装置及电子设备
CN104350743B (zh) 用于混合图像去马赛克和扭曲的系统，方法和计算机程序产品
TW200907854A (en) Universal rasterization of graphic primitives
CN107333062A (zh) 一种视频图像处理的方法、系统及装置
CN106255990A (zh) 用于相机阵列的图像重对焦
CN110428382A (zh) 一种用于移动终端的高效视频增强方法、装置和存储介质
CN110062282A (zh) 一种超分辨率视频重建方法、装置及电子设备
CN109146813A (zh) 一种多任务图像重建方法、装置、设备和介质
CN112767252B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
Kim et al. Pynet-ca: enhanced pynet with channel attention for end-to-end mobile image signal processing
Yang et al. Residual and dense unet for under-display camera restoration
CN111161166A (zh) 一种基于深度多分辨率网络的图像摩尔纹消除方法
KR102092205B1 (ko) 초해상화, 역톤매핑 및 동시 초해상화-역톤매핑 처리된 다중 출력 이미지를 생성하는 이미지 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant