CN108259997B - 图像相关处理方法及装置、智能终端、服务器、存储介质 - Google Patents

图像相关处理方法及装置、智能终端、服务器、存储介质 Download PDF

Info

Publication number
CN108259997B
CN108259997B CN201810285137.4A CN201810285137A CN108259997B CN 108259997 B CN108259997 B CN 108259997B CN 201810285137 A CN201810285137 A CN 201810285137A CN 108259997 B CN108259997 B CN 108259997B
Authority
CN
China
Prior art keywords
image
layer
channel
data
numerical value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810285137.4A
Other languages
English (en)
Other versions
CN108259997A (zh
Inventor
陈法圣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810285137.4A priority Critical patent/CN108259997B/zh
Publication of CN108259997A publication Critical patent/CN108259997A/zh
Priority to EP19782328.9A priority patent/EP3748572A4/en
Priority to PCT/CN2019/078685 priority patent/WO2019192316A1/zh
Application granted granted Critical
Publication of CN108259997B publication Critical patent/CN108259997B/zh
Priority to US16/928,383 priority patent/US11836891B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4356—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen by altering the spatial resolution, e.g. to reformat additional data on a handheld device, attached to the STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user

Abstract

本发明实施例公开了一种图像相关处理方法及装置、智能终端、服务器，其中的方法包括：基于卷积神经网络生成用于进行图像分辨率处理的初始模型；获取训练图像，训练图像包括第一图像和第二图像，第一图像是对第二图像进行N倍降分辨率处理后得到的图像；将第一图像的图像数据从输入层输入到初始模型的中间层进行卷积计算，并从输出层获取卷积计算的结果数据，其中卷积计算后输出的结果数据包括N*N通道的通道输出数据；根据结果数据和第二图像，对中间层中的卷积核参数进行优化以生成图像处理模型。采用本发明实施例，可以更好的训练优化得到图像处理模型，以便于基于该图像处理模型准确地进行图像的超分辨率处理。

Description

图像相关处理方法及装置、智能终端、服务器、存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像相关处理方法及装置、智能终端、服务器、存储介质。
背景技术
随着网络技术和电子技术的发展，人们可以通过网络，从各种服务器、其他用户端获取到各种各样的信息，这些信息包括图像、视频等影像。基于终端上安装的应用，用户可以随时观看视频，浏览图像。
为了获取更高的视频或图像的观看体验，人们更希望观看到高清的视频、图像，为了更快更及时地提供高分辨率图像给用户，目前提出了一些图像超分辨率处理的方法，通过对视频帧或者图片等图像进行超分辨率处理，能够为用户提供更高分辨率图像。
现有的超分辨率方法，大多都是通过模拟的方式构造出多组一一对应的低分辨率与高分辨率图像，然后通过机器学习的方法学习低分辨率图像到高分辨率图像映射关系。模拟的过程包括：获取一组高分辨率图像、对每个图像进行插值处理，把图像的分辨率降低，这样就得到了多组一一对应的低分辨率与高分辨率图像，其中，可以通过双线性插值处理方式进行降分辨率的插值处理，得到多组成对的低分辨率到高分辨率图像。在得到低分辨率图像后，根据低分辨率图像到高分辨率图像的映射关系，可以系找到对应的高分辨率图像，并输出给用户。
而如何通过训练图像处理模型的方式来更好地完成超分辨率处理成为研究的热点问题。
发明内容
本发明实施例提供了一种图像相关处理方法及装置、智能终端、服务器，可得到较优的图像处理模型，能够高质量的完成图像的超分辨率处理。
一方面，本发明实施例提供了一种图像处理模型的生成方法，包括：
基于卷积神经网络生成用于进行图像分辨率处理的初始模型，所述初始模型包括输入层、输出层和中间层；
获取训练图像，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像；
将所述第一图像的图像数据从所述输入层输入到所述中间层进行卷积计算，并从所述输出层获取所述卷积计算的结果数据，所述结果数据包括N*N通道的通道输出数据，所述N为大于2的正整数；
根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新，并根据所述参数更新后的初始模型生成图像处理模型。
另一方面，本发明实施例还提供了一种图像处理方法，包括：
获取待处理图像的目标图像数据；
通过图像处理模型对所述目标图像数据进行处理，得到包括N*N通道的通道输出数据的结果数据，所述N为大于2的正整数；
根据所述结果数据，生成所述待处理图像所对应的提高N倍分辨率的目标图像；
所述图像处理模型包括输入层、输出层和中间层，所述中间层中的卷积核参数是基于训练图像进行参数更新后确定的，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像，其中，所述图像处理模型中的中间层是根据所述第二图像和结果数据对中间层中的卷积核参数进行更新后得到的，所述结果数据是更新前的中间层对所述第一图像的图像数据进行卷积计算后得到的包括N*N通道的通道输出数据。
相应地，本发明实施例还提供了一种图像处理模型的优化装置，包括：
生成模块，用于基于卷积神经网络生成用于进行图像分辨率处理的初始模型，所述初始模型包括输入层、输出层和中间层；
获取模块，用于获取训练图像，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像；
计算模块，用于将所述第一图像的图像数据从所述输入层输入到所述中间层进行卷积计算，并从所述输出层获取所述卷积计算的结果数据，所述结果数据包括N*N通道的通道输出数据，所述N为大于2的正整数；
处理模块，用于根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新，并根据所述参数更新后的初始模型生成图像处理模型。
相应地，本发明实施例还提供了一种图像处理装置，包括：
获取模块，用于获取待处理图像的目标图像数据；
处理模块，用于通过图像处理模型对所述目标图像数据进行处理，得到包括N*N通道的通道输出数据的结果数据，所述N为大于2的正整数；
生成模块，用于根据所述结果数据，生成所述待处理图像所对应的提高N倍分辨率的目标图像；
所述图像处理模型包括输入层、输出层和中间层，所述中间层中的卷积核参数是基于训练图像进行参数更新后确定的，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像，其中，所述图像处理模型中的中间层是根据所述第二图像和结果数据对中间层中的卷积核参数进行更新后得到的，所述结果数据是更新前的中间层对所述第一图像的图像数据进行卷积计算后得到的包括N*N通道的通道输出数据。
相应地，本发明实施例还提供了一种图像处理设备，包括：处理器和存储装置；所述存储装置，用于存储计算机程序指令；
所述处理器，调用所述存储装置中存储的计算机程序指令，用于基于卷积神经网络生成用于进行图像分辨率处理的初始模型，所述初始模型包括输入层、输出层和中间层；获取训练图像，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像；将所述第一图像的图像数据从所述输入层输入到所述中间层进行卷积计算，并从所述输出层获取所述卷积计算的结果数据，所述结果数据包括N*N通道的通道输出数据，所述N为大于2的正整数；根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新，并根据所述参数更新后的初始模型生成图像处理模型。
相应地，本发明实施例还提供了另一种图像处理设备，包括：处理器和存储装置；所述存储装置，用于存储计算机程序指令；
所述处理器，调用所述存储装置中存储的计算机程序指令，用于获取待处理图像的目标图像数据；通过图像处理模型对所述目标图像数据进行处理，得到包括N*N通道的通道输出数据的结果数据，所述N为大于2的正整数；根据所述结果数据，生成所述待处理图像所对应的提高N倍分辨率的目标图像；所述图像处理模型包括输入层、输出层和中间层，所述中间层中的卷积核参数是基于训练图像进行参数更新后确定的，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像，其中，所述图像处理模型中的中间层是根据所述第二图像和结果数据对中间层中的卷积核参数进行更新后得到的，所述结果数据是更新前的中间层对所述第一图像的图像数据进行卷积计算后得到的包括N*N通道的通道输出数据。
相应地，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机程序指令，该计算机程序指令被执行时，用于实现上述的图像处理模型的生成方法，或者用于实现上述的图像处理方法。
本发明实施例可以基于降分辨率处理前后的两个图像，对包括配置有用于进行卷积计算的中间层的模型进行训练优化，最终得到可以进行N倍超分辨率处理的图像处理模型，基于该由特殊结构和训练方式生成的图像处理模型，一方面能够快捷地实现对图像(例如各种图片、视频帧等)的超分辨率处理，超分辨率处理速度和效率明显得到提升，另一方面，基于该图像处理模型对图像的超分辨率处理也更准确和稳定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的图像处理的简要示意图；
图2是本发明实施例的一种应用的图像处理模型的场景示意图；
图3a是本发明实施例的另一种应用的图像处理模型的场景示意图；
图3b是本发明实施例的一种影音播放界面的示意图；
图4是本发明实施例的初始模型的一种结构示意图；
图5是本发明实施例的卷积计算的过程示意图；
图6是本发明实施例的获取第一图像和第二图像对初始模型进行训练优化的示意图；
图7是本发明实施例的一种对图像进行超分辨率处理的流程示意图；
图8是本发明实施例的一种图像处理模型的优化方法的流程示意图；
图9是本发明实施例的根据优化后的初始模型生成图像处理模型的方法流程示意图；
图10是本发明实施例的一种图像处理方法的流程示意图；
图11是本发明实施例的一种图像处理模型的优化装置的结构示意图；
图12是本发明实施例的一种图像处理装置的结构示意图；
图13是本发明实施例的一种图像处理设备的结构示意图；
图14是本发明实施例的另一种图像处理设备的结构示意图。
具体实施方式
在本发明实施例中，针对图像的处理主要是针对图像的超分辨率处理，超分辨率处理是将低分辨率图像进行处理，得到对应的高分辨率图像，例如对于540P分辨率的图像，进行超分辨率处理后，可以得到1080P分辨率的图像。在超分辨率处理过程中，首先会获取低分辨率图像中每一个像素点的表示数值，然后，以低分辨率图像的每一个像素点的表示数值为基础，基于训练优化后的图像处理模型对各表示数值进行计算，输出多通道数据，得到与每一个表示数值相关的多个数值，这些数值会作为超分辨率后的图像上的新像素点的表示数值。最后基于这些新像素点的表示数值，可以排列生成高分辨率图像。如图1所示，是本发明实施例的图像处理的简要示意图，即低分辨率图像输入后，调用图像处理模型进行N倍超分辨率处理，会输出N*N通道的数据，基于这些数据最终得到新的表示数值，并基于新的表示数值生成高分辨率图像，得到想要的目标图像，其中，所述N是大于2的正整数。在一个实施例中，所述的表示数值可以为：像素点的明度值V、或者像素点的亮度值L、或者像素点的明亮度通道数据即Y通道数值，或者像素点的R(red，红)、G(green，绿)、B(blue，蓝)数值中的任意一个或者多个、或者多光谱相机各个通道的灰度值、或者特种相机(红外相机、紫外相机、深度相机)各个通道的灰度值等等。
在一个实施例中，对于某个低分辨率图像进行N倍超分辨率处理，主要是基于图像处理模型将低分辨率图像中的每一个像素点变换为N*N个像素点，例如，需要将低分辨率图像的分辨率放大到2倍，对低分辨率图像进行2倍超分辨率处理，则对于低分辨率图像中的1个像素点，需要处理成2*2即4个像素点，需要基于图像处理模型将一个像素点的表示数值计算得到四个数值，这四个数值即为高分辨率图像的像素点的对应表示数值。
如图1所示，对于超分辨率处理之前的低分辨率图像100，调用图像处理模型后，由图像处理模型输出结果数据，该结果数据中包括2*2即4通道的通道输出数据，基于结果数据可以得到高分辨率图像。在一个实施例中，对于低分辨率图像上的左上角顶点位置处的顶点像素点101，图像处理模型可以基于该顶点像素点101的表示数值，对应计算得到该顶点像素点101对应的四个数值，这四个数值分别对应于2*2个通道的通道输出数据上的数值1011、1012、1013以及1014。在基于四通道的通道输出数据生成高分辨率图像200后，这四个数值分别为高分辨率图像的左上角区域(如图1中左边虚线框的区域)中左上像素点1021、右上像素点1022、左下像素点1023、右下像素点1024的表示数值。目标图像中新的像素点的图像位置是以低分辨率图像中原像素点的图像位置为参考确定的，例如，所述顶点像素点101对应所述左上角区域的四个像素点，而顶点像素点101的下一个像素点102(第一行第二列的像素点)在高分辨率图像200上所对应的区域，是紧邻于高分辨率图像200上所述顶点像素点101对应的区域，具体如图1右边的虚线框所示的区域，下一个像素点102对应于该区域中的4个像素点。低分辨率图像中其他像素点在高分辨率图像200上对应的位置区域以此类推；而如果是3倍超分辨率，则顶点像素点101则对应左上角区域的3*3即9个像素点。
上述提及的图像处理模型可以基于卷积神经网络来生成。针对不同的超分辨率提升倍数，可以有不同输出通道的图像处理模型，每一个输出通道上通道输出数据中的数值，均是超分辨率处理后的目标图像上相应位置处的像素点的表示数值。在一个实施例中，可以设置多个图像处理模型，每一个图像处理模型具有不同的输出通道，这样，在接收到需要进行超分辨率处理的低分辨率图像后，可以根据超分辨率处理的倍数，从多个图像处理模型中选择目标图像处理模型，以便于通过该目标图像处理模型来实现对该低分辨率图像的超分辨率处理，满足用户的超分辨率需求。例如，可以设置2*2输出通道的图像处理模型，这样可以满足2倍超分辨率处理，还可以设置3*3输出通道的图像处理模型，这样可以满足3倍超分辨率处理。这样一来，对于视频播放器等应用，用户可以选择不同的分辨率来请求播放视频或者图像等，例如对于某个540P分辨率的视频，用户选择2倍超分辨率处理，可以观看1080P分辨率的视频，而如果选择4倍超分辨率处理则可以观看2K分辨率的视频。
图像处理模型需要进行训练优化，可以在生成用于进行图像分辨率处理的初始模型的基础上，基于训练数据来完成对初始模型的训练优化，得到可以进行图像超分辨率处理的图像处理模型。图像处理模型在使用过程中，也可以随时被当做为一个新的初始模型根据需要进行进一步的优化处理，以便于更准确地完成图像的超分辨率处理。
如图2所示，是本发明实施例的一种应用上述提及的图像处理模型的场景示意图，已经被训练优化完成的可供使用的图像处理模型被配置在影像播放应用中，该应用安装在诸如智能手机、平板电脑、个人电脑(personal computer，PC)、智能可穿戴设备等带图像显示、视频播放等功能的智能终端上，影像播放应用例如可以是能够播放视频的各种应用、和/或能够显示图像的各种应用等等，用户在智能终端上打开该影像播放应用，可以请求播放视频或者展示图像。在一个实施例中，在请求播放视频时，智能终端会向提供视频播放服务的服务器请求视频，智能终端在接收到服务器返回的视频后，提取其中的低分辨率视频，将低分辨率视频中的每一个视频帧确定为低分辨率图像，并将低分辨率图像作为待处理图像输入到图像处理模型，图像处理模型对待处理图像进行超分辨率处理，对应地得到高分辨率图像，即得到目标图像，每一个目标图像对应于一个视频帧。并在得到目标图像后，影像播放应用再按照播放时间顺序等因素依次播放目标图像，实现超分辨视频的播放。在其他实施例中，智能终端也可以缓存已经得到的目标图像，缓存到预设的数据量后，再基于播放时间顺序等因素得到视频并播放。同样，智能终端针对单张图像时，可以直接将该单张图像作为待处理图像进行超分辨率处理后将得到的目标图像显示给用户。这样一来，一方面智能终端仅下载低分辨率的视频数据即可，节省了带宽的占用，可以节省智能终端的流量，另一方面还可以节省服务器的存储空间，再者还能方便用户观看更加高清的视频。用户可以通过点击切换按钮的方式来请求在低分辨率的影像和超分辨率的影像之间进行显示切换。当然，智能终端也可以通过一个应用界面来接收用户操作，只有在用户选择了该应用界面上的高分辨率播放按钮时，智能终端才将低分辨率图像进行超分辨率处理，得到高分辨率的目标图像并播放给用户。
如图3a所示，是本发明实施例的另一种应用上述提及的图像处理模型的场景示意图，已经被训练优化完成的可供使用的图像处理模型被配置在提供视频播放服务或者图像显示服务的应用服务器中，智能终端上安装有相应的影音播放应用等。所述应用服务器中可能存储有低分辨率的视频或者图像，当有用户通过智能终端上安装的影像播放应用请求观看这些低分辨率视频或者图像时，应用服务器可以将视频或者图像的数据发送给智能终端，并通过智能终端上安装的应用展示给用户。而在观看低分辨率的视频时，如果用户希望观看高分辨率的视频，用户可以点击选择在应用界面上设置的高分辨率播放按钮，此时，智能终端向服务器发送N倍的高分辨率播放请求，服务器响应该高分辨率播放请求，确定低分辨率视频数据，从中获取待处理图像(例如低分辨率单张图片或者即低分辨率视频中的一视频帧)，通过图像处理模型进行超分辨率处理，最后输出目标图像。并将目标图像传输给智能终端，智能终端再通过影音播放应用显示或者按照播放时间顺序等因素依次播放高分辨率的目标图像，实现超分辨视频的播放。
图3b为一种影音播放界面的简要示意图，用户在点击了右下角的“超分辨率”播放按钮后，影音播放应用按照上述图2对应的方式、或相关应用服务器按照上述图3对应的方式，对视频或者图像进行超分辨率处理，以向用户提供超分辨率的视频或者图像。右下角的“超分辨率”按钮可以为其他类型的多个按钮，例如“2倍超分辨率”的图标按钮、“4倍超分辨率”的图标按钮等等。在一个实施例中，服务器也可以基于服务器与终端之间的网络资源信息，在低分辨率图像和高分辨率图像之间进行切换，在网络资源信息满足条件时(例如带宽充足时)，自动将低分辨率图像转换为高分辨率的目标图像发送给用户，在网络资源信息不满足条件时(例如在带宽较小时)，发送低分辨率图像。
下面从三个方面来对本发明实施例的图像处理进行详细说明。在这三个方面中，一个方面包括模型的建立以及训练优化得到图像处理模型，另一个方面包括对训练优化后的图像处理模型的进一步优化处理，第三方面包括基于图像处理模型对图像进行超分辨率处理的过程。
图像处理模型的生成过程包括：首先基于卷积神经网络生成用于进行图像分辨率处理的初始模型，所述初始模型包括输入层、输出层和中间层。在初始模型中，输入层有一个输入通道，主要用于录入训练图像的图像数据，这些图像数据是指每一个像素点的表示数值，所述表示数值可以是每一个像素点的明度值、或者每一个像素点的亮度值、或者每一个像素点的Y通道数值，或者可以是每一个像素点的R、G、B数值中的任意一个或者多个，或者可以是多光谱相机各个通道的灰度值、特种相机(红外相机、紫外相机、深度相机)各个通道的灰度值中的任意一个或者多个等等，也就是说，任何二维数据都可以训练相应数据的图像处理模型。基于像素点的明度值、或者每一个像素点的亮度值、或者每一个像素点的Y通道数值，或者每一个像素点的R、G、B数值等，可以训练出能够对低分辨率图像进行超分辨率处理的图像处理模型，所述特种相机各个通道的灰度值可以训练得到能够对红外相机、紫外相机、深度相机等类型的特种相机的相应通道灰度值进行超分辨率处理的图像处理模型。甚至还可以对应训练得到地质雷达图像、遥感图像等图像进行超分辨率处理的图像处理模型。初始模型的输入层也可以有多个输入通道以便于对图像的多个数据进行超分辨率处理，例如，初始模型的输入通道可以有三个，以便于同时输入图像的R、G以及B数值，对RGB进行超分辨率处理。
初始模型的输出层有N*N个输出通道，每一个通道输出的通道输出数据构成了结果数据，结果数据上的每一个数值对应于超分辨率处理后的目标图像上的其中一个像素点的表示数值。对应于输入通道输入的在上述已提及的数据，输出的所述结果数据中的数值对应的表示数值包括：每一个像素点的明度值、或者每一个像素点的亮度值、或者每一个像素点的Y通道数值，或者是每一个像素点的R、G、或B数值等等。
在一个实施例中，如果输入层为M个输入通道(M为正整数)，则输出层有M*N*N个输出通道，例如，输入层如果输入的是R、G以及B数值，则输出的应该是3*N*N(即M＝3)，每一连续的N*N输出通道对应R、G或者B数值，例如对应2倍超分辨率处理，前4个输出通道(如编号为1、2、3、4的输出通道)对应R数值、中间4个输出通道(如编号为5、6、7以及8的输出通道)对应G数值，最后4个输出通道(如编号为9、10、11以及12的输出通道)对应B数值。
中间层则可以包括多个卷积层，一般情况下，卷积层越多，计算也就越细致，后续在进行超分辨率处理时，得到的目标图像的画质更好，图像噪点更低。
如图4所示，是本发明实施例的初始模型的一种结构示意图，包括输入层，输出层以及中间层，例如，由5个卷积层组成的中间层。每个卷积层的相关参数如下表1所示。通过训练图像来对初始模型进行训练优化，以便最终得到可上线使用的图像处理模型。训练图像包括大量的图像数据，在这些图像数据中包括第一图像和第二图像，其中的所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像，也就是说，只需要采集高分辨率的第二图像，通过降采样来得到低分辨率图像的第一图像，对于低分辨率的第一图像，已经存在了该第一图像对应的高分辨率的第二图像来作参考标准，以便于衡量初始模型对低分辨率的第一图像的超分辨率处理能力，使得训练优化更准确。
表1：
针对表1所列信息，在其他实施例中，可以采用更多(或更少)层数的卷积层，并且卷积核的大小可以根据需要进行调整，第一层卷积层的输入通道数一般为1，即输入一张待处理图像的图像数据，其他中间层的卷积层的输入通道数为该中间层的卷积层相连的上一层卷积层的输出通道数，该上一层卷积层的输出数据为该中间层的卷积层所对应的输入数据，例如表1中的第一层卷积层的输入通道数为1、输出通道数为16；第二层卷积层的输入通道数则为16，与第一层卷积层的输出通道相同。针对输出通道数，除了中间层中最后一个卷积层外，其他卷积层的输出通道数也可以根据需要进行配置，而该最后一个卷积层则需要根据超分辨率处理的倍数来确定，如果需要提高N倍分辨率，此时，最后一个卷积层的输出通道数应该为N*N，例如表1中，4通道是基于2*2计算得到的，是为了实现2倍的超分辨率处理。卷积核大小尺寸可以自定，可以是大于2的奇数，步长的大小可以为1，以此可保证每次卷积层的卷积计算不会导致图像缩小。之后还需要计算出与卷积核大小、步长对应的pad值。pad的大小会决定卷积计算时，向外复制多少个像素的宽度，以保证每次卷积的操作不会有宽高损失。pad的计算方法为：pad＝(卷积核大小-步长)/2，以表1为例，卷积核大小是指3，pad＝(3-1)/2＝1。
在本发明实施例中，在生成的初始模型中的中间层只使用了卷积层，并未引入任何诸如激活层等其他计算层。结合图5所示，对于第一层卷积层，基于配置的输出通道数，在第一层卷积层中包括16个卷积核，每个卷积核为不同数值构成的3×3的矩阵，这些数值为卷积核参数，最终的图像处理模型中的卷积核参数是通过对初始模型中的卷积核参数进行训练优化得到，每个卷积核参数可以完全不相同或者部分相同。
对于输入层输入的第一图像的图像数据(也是一个由表示数值构成的二维矩阵)，首先分别与第一层卷积层中每一个卷积核进行卷积计算，则会输出16个计算结果数据，所述第一图像的图像数据是指所述第一图像中每个像素点的表示数值，可以认为，第一图像中每一个像素点的表示数值经过第一层卷积层后，会得到16个数值。
对于第二层卷积层，基于配置的输出通道数(可以配置不同的输出通道数)，在第二层卷积层中包括32组卷积核，每组有16个卷积核，每个卷积核为不同数值构成的3×3矩阵，第二层卷积层的输入为第一卷积层输出的16个计算结果数据，输出则为32个计算结果数据。在一个实施例中，经过第二层卷积层进行卷积计算的过程中，是将第一层卷积层输出的16个计算结果数据，分别与一组卷积核中的16个卷积核做卷积计算得到卷积结果，然后将16个卷积结果求和，得到这一组卷积核对应的输出数据(32个输出数据中的一个)。这样，对32组卷积核都进行这样的操作，得到第二层卷积层中32个通道的计算结果数据。
对于第三层卷积层，其由32组卷积核构成，每组卷积核有32个卷积核，处理方法与第二层相同：对于每一组卷积核，将其里面的32个卷积核分别与从第二层卷积层输出的32个计算结果进行卷积计算，将卷积得到的32组数据求和，得到该组卷积核对应的输出。这样，32组卷积核能够得到第三层卷积层的32个通道的计算结果数据。以此类推，第四层卷积层也能得到32个通道的计算结果数据，在最后一个卷积层采用4通道的卷积实现解卷积，由于2倍超分辨率是将1个像素点放大成4个像素点，所以在初始模型中，第五层卷积层输出的是四个通道的结果数据，可以认为分别对应左上、右上、左下、右下四个像素点的表示数值。输出层最终可以直接输出包括4通道的结果数据，或者在一个实施例中能够对结果数据进行处理，直接输出按照4个通道的输出通道数据排列得到的一张高分辨率的目标图像。通过这样的方法，用4通道的卷积层，实现stride＝2的解卷积层。也就是说，在所述初始模型中配置的最后一层实际上是采用卷积来实现了解卷积。
在一个实施例中，计算中间层的每一个卷积层中目标输出通道的计算结果数据包括：分别将输入数据与每组卷积核进行一一对应的卷积计算，然后求和，得到该组卷积核对应的输出通道的计算结果数据。在卷积层中每组卷积核对应一个目标输出通道，所以有多少组卷积核，输出的通道数就是多少个。在其他实施例中，还可以包括其他的计算方式，各个输入数据与各个卷积核之间的卷积计算方式可以有多种组合，每一个输入数据与目标卷积核进行卷积计算后可以进行平均计算等等。可以理解的是，无论采用哪种数学计算方式，都可以基于经过计算后得到的最终输出的结果数据，能够对初始模型中的卷积核参数进行训练优化，能够保证在一次或者多次的训练优化后，如果再次输入第一图像，最终输出的关于该第一图像对应的结果数据所指示的目标图像与第二图像之间相同图像位置处的像素点的表示数值的差异较小，例如该两者的表示数值差值均小于预设的阈值、或者预设比例的表示数值差值均小于预设的阈值。
第一图像的图像数据经过初始模型计算后，最终可以输出结果数据，结果数据中每一个数值均理解为超分辨率处理后的目标图像上相应位置处的像素点的表示数值，例如对应的应该为超分辨率后目标图像上的相应位置处的像素点的明度值、或亮度值、或者Y通道数值，或者RGB数值等，或者也可以是多光谱相机各个通道的灰度值、或特种相机(红外相机、紫外相机、深度相机)各个通道的灰度值、或者遥感图像对应通道的灰度值等等。如图1所述的进行2倍超分辨率处理后，输出的包括4通道的通道输出数据的结果数据，基于结果数据可以组合成目标图像。
在一个实施例中，对于输出的表示数值(即输出的结果数据中的数值)表示的是Y通道数值，在合成目标图像时，基于一个像素点的Y通道数值和经过插值处理等方式获取的同一个像素点的另外两个色差信号UV通道数值，可以组合得到相应像素点的YUV数据，最终按照像素点的图像位置排列得到超分辨率处理后的目标图像。在一个实施例中，如果输出的表示数值(即输出的结果数据中的数值)表示的是明度值，在合成目标图像时，基于一个像素点的明度值V值和经过插值处理等方式获取到的同一个像素点的色调值H、饱和度值S，即可组合得到该个像素点的HSV数据，最终按照像素点的图像位置排列得到超分辨率处理后的目标图像。同理，针对输出的亮度值L值进行类似处理以组合得到HSL数据，也能够最终按照像素点的图像位置排列得到超分辨率处理后的目标图像。
在一个实施例中，对于输出的表示数值(即输出的结果数据中的数值)表示为RGB数值时，则可以直接基于每个像素位置处的像素点的R数值、G数值及B数值，组合得到像素点的RGB数值，最终按照像素点的图像位置排列得到超分辨率处理后的RGB目标图像。
针对待处理图像输入数据为RGB数据的情况下，即像素点的表示数值为RGB数值的情况下，进行超分辨率处理的方式有两种，其中一种方式是配置三个图像处理模型，分别对R数值、G数值和B数值进行计算，各自输出对应的结果数据，基于各自输出的结果数据得到目标图像的R数值、G数值和B数值，再进一步组合RGB数值得到目标图像，在一个实施例中，在此情况下，图像处理模型在训练时，也可以分别是针对R数值、G数值和B数值进行的训练优化。另一种方式是图像处理模型的输入通道为三个，每一个通道对应的是待处理图像各个像素点的R数值、G数值和B数值，输入对应的3组N*N通道，每组N*N通道对应R数值、G数值或B数值，最后进一步组合RGB数值得到目标图像。
在一个实施例中，在部署了图像处理模型后，需要对待处理图像的目标图像数据进行处理时，可以先判断获取的目标图像数据是否为RGB数值，如果是，则将RGB数值作为目标图像数值，选择三个图像处理模型，以便于通过图像处理模型分别对RGB数值进行处理，得到RGB数值对应的N*N通道的结果数据。在一个实施例中，针对YUV数据、HSV数据、HSL数据等也可做相同处理，通过选择三个图像处理模型来完成对待处理图像的N倍超分辨率处理。
在本发明实施例中，上述提及的从第一图像到得到结果数据的整个过程被认为是初始模型对第一图像的超分辨率处理。
针对初始模型对第一图像进行超分辨率处理得到目标图像后，将目标图像与第二图像进行比较，主要包括对每一个对应图像位置处的像素点的表示数值进行比较，比如目标图像左上角顶点处的像素点和第二图像左上角顶点处的像素点之间的表示数值比较，得到表示数值的差值，根据所有或者超过预设区域范围阈值的像素点(例如目标图像和第二图像上80％以上的图像区域中的像素点)的表示数值的差值，判断目标图像和第二图像之间的相似信息，如果分辨率相似信息不满足优化条件，则认为初始模型能够很好地对第一图像进行超分辨率处理，继续对下一个第一图像进行相同处理。
在一个实施例中，目标图像和第二图像之间的相似信息可以是指每一个像素点的表示数值差值的平均值，如果平均值低于第一相似阈值，则认为不满足优化条件，否则，则认为满足优化条件。在一个实施例中，目标图像和第二图像之间的相似信息可以仅是指每一个图像位置处像素点的表示数值的差值，如果超过M个表示数值的差值均小于预设的第二相似阈值，则认为不满足优化条件，否则，则认为满足优化条件。
如果满足优化条件，则需要反向对中间层各个卷积层中包括的卷积核参数进行调整优化，并在调整优化后，再次通过调整优化后的初始模型对第一图像进行超分辨率处理，如果再次进行处理得到的目标图像与第二图像之间的相似信息不满足优化条件，则获取下一个第一图像调用经过初步优化的初始模型进行超分辨率处理，如果仍然满足优化条件，则继续对卷积层中卷积核的卷积核参数进行调整优化后再一次进行超分辨率处理。通过基于大量的第一图像进行超分辨率处理以及初始模型的优化，最终会得到一个卷积核参数被训练优化后的图像处理模型。
可以仅将第一图像的目标图像通道的值作为训练输入数据，例如将第一图像的Y通道数值作为训练输入数据从输入层输入，经过与上述相同的卷积计算后，从输出层输出的结果数据包括N*N通道的Y通道数值，在确定是否对初始模型中卷积层中卷积核的卷积核参数进行优化时，可以判断输出N*N通道的Y通道数值与第二图像的Y通道数值之间的差值是否满足优化条件，如果满足，则需要对初始模型中卷积层中卷积核的卷积核参数进行优化，反之，则继续获取下一图像作为第一图像，并提取Y通道数值。
请参见图6，是本发明实施例的获取第一图像和第二图像对初始模型进行训练优化的示意图。在S601中，获取高分辨率图像，该高分辨率图像为第二图像，可以从一些提供高清图像的网站来获取这些高分辨率图像；在S602中，对高分辨率图像进行N倍降分辨率处理，得到低分辨率图像，该低分辨率图像为第一图像；在S603中，基于得到的大量的第一图像和相关的第二图像，建立训练图像库。在S604中，从训练图像库中获取训练图像，对基于卷积神经网络生成的用于进行图像分辨率处理的初始模型进行优化，得到图像处理模型。
在一个实施例中，训练优化完成后得到的图像处理模型可以部署到智能终端或者应用服务器中，对图像或者视频进行超分辨率处理。在一个实施例中，在部署图像处理模型之前，还可以对已经训练优化后的图像处理模型进行处理，得到更优的图像处理模型。
还可以进一步对已经训练优化后的图像处理模型(可以称之为初始图像处理模型)进行处理，在一个实施例中，该处理主要包括对初始图像处理模型进行模型压缩处理，以便于得到更优的能够上线部署的图像处理模型。在本发明实施例中，由于在设计初始模型时，中间层只采用了卷积层，因此，可以考虑通过特殊的处理方式对初步图像处理模型进行压缩优化，可以将多层的卷积层压缩合并为一个卷积层，方便后续在实际部署后能够更为快捷地完成超分辨率处理，例如将表1所示的5层卷积层压缩为1层卷积层，将原有的5次卷积计算合并为一次卷积计算，可以大大减少超分辨率计算的时间。
在一个实施例中，合并两个卷积层的方法包括：记第一卷积层的卷积层参数为w1，第二卷积层的卷积层参数为w2，合并后的卷积层参数为w3。如表2所示，wi(i＝1,2,3)为4维数组，其中，第1维为高度，第2维为宽度，第3维为输入的通道数，第4维为输出的通道数
表2
也就是说，通过上述表2中的两个计算公式：h1+h2-1(公式1)、w1+w2-1(公式2)，可以得到合并后卷积核的大小，输入通道数以及输出通道数。以表1中第一层卷积层和第二层卷积层为例，这两个卷积层合并后，每个卷积核的高度为：3+3-1＝5，每个卷积核的宽度为3+3-1＝5，同时，输入的通道数为第一层卷积层的通道数1，而输出则为第二层卷积层的输出通道数32，即合并后的卷积层(合并初始卷积层)中，卷积核为5*5*1*32。进一步再将合并后的w3作为新的第一卷积层与第三卷积层w4(作为新的第二卷积层)合并，则合并后的w5的高度为：5+3-1＝7，宽度为5+3-1＝7，输入通道数为1，输出通道数为第三层卷积层的输出通道数32，即新的合并后的卷积层(新的合并初始卷积层)中，卷积核为7*7*1*32，以此类推，最后得到1个11x11x1x4的合并卷积层，该卷积层中卷积核的大小为11x11，包括1个输入通道，4个输出通道。
而对于合并后的卷积核参数，则可以通过卷积核合并计算的方式来计算，也就是说将两个卷积层中的卷积核基于矩阵乘法的方式进行计算，具体的计算方式可以为：分别将参数更新后的初始模型中所述中间层包括的第一卷积层中的卷积核与第二卷积层的卷积核，用卷积核矩阵进行表示，并采用卷积核矩阵对应的矩阵乘法进行卷积合并计算，得到合并卷积核。所述合并卷积核中第x行第y列的卷积核为：第一卷积层所对应的卷积核矩阵中第i行每个元素，与第二卷积层所对应的卷积核矩阵中第j列每个元素一一卷积后的新卷积核的和。
以上述5层卷积层为例，可以将第一层卷积层作为第一卷积层，第一卷积层的输入数据对应的输入通道数称为起始通道数c1，将第一卷积层输出数据对应的输出通道数称为中间通道数c2，将第二层卷积层作为第二卷积层，第二卷积层的输出数据对应的输出通道数称为末尾通道数c3。所以，可以用卷积核矩阵来表示第一卷积层和第二卷积层，即：可以将第一层卷积层w1看做一个c1乘c2的矩阵A，将第二层卷积层w2看做一个c2乘c3的矩阵B，将第一层卷积层和第二层卷积层合并后的合并初始卷积层w3看做一个c1乘c3的矩阵C。三个矩阵的每个元素都是一个卷积核。卷积合并计算的方法类似矩阵乘法，将两个矩阵“相乘”得到合并后的矩阵，合并后矩阵第i行第j列的元素的值为：所有左乘矩阵第i行每个元素，与右乘矩阵第j列每个元素一一卷积后的新卷积核的和。也就是说，记合并后的卷积核矩阵第x行第y列的卷积核为C(x,y)，则有公式：
公式3：
其中，*表示二维卷积运算。通过以上公式3，就能够计算出合并后的由第一层卷积层和第二次卷积层合并后的每一个卷积核，进而确定合并初始卷积层中各个卷积核的卷积核参数。
在一个实施例中，如果中间层仅包括第一卷积层和第二卷积层，则可以直接将合并初始卷积层确定为合并卷积层。而如果中间层包括多个卷积层，则基于上述的公式3，将合并初始卷积层作为新的第一卷积层，且将下一卷积层(例如第三卷积层)和/或由所述中间层中其他两个卷积层合并处理得到的合并初始卷积层作为新的第二卷积层，重复执行上述的计算合并卷积核，并得到新的合并初始卷积层的步骤，最终得到合并卷积层。在一个实施例中，得到的合并卷积层的尺寸与基于上述的公式1和公式2计算得到的由两个卷积层的卷积层参数或者多个卷积层的卷积层参数进行计算后得到w和h相同。
在一个实施例中，在完成上述合并，得到包括输入层、输出层以及合并卷积层的图像处理模型后，经过试验发现，按照上述合并卷积层操作后，生成该合并的卷积层下的卷积核是可分离卷积核，例如针对表1的5层卷积层，合并后得到的4个卷积核是可分离卷积核，因此，可以采用一些分解算法，例如采用奇异值分解(Singular Value Decomposition，SVD)算法，把该唯一卷积层中包括的每个卷积核分解为一行与一列，把原先的1次二维卷积分解为2次一维卷积，在分解唯一卷积层后得到最终的图像处理模型，可以有效提高后续进行卷积计算的计算速度。
在得到可供使用的图像处理模型后，可以将该图像处理模型部署到提供视频播放或者图像展示等服务的应用服务器中，或者部署在安装有相关视频或者图像应用的智能终端中。这样对于视频中每一视频帧或者单张图像，可以通过图像处理模型进行超分辨率处理，能够根据需求提供高低分辨率的服务给用户。
在一个实施例中，因为视频帧或者图像一般可以为包括YUV图像通道的图像，其中，Y表示明亮度，而U和V表示的则是色度。在对图像进行超分辨率处理时，图像处理器可以仅对需要进行超分辨率处理的视频帧或者单张图像的Y图像通道上的数值(即Y通道数值)进行处理，而U和V图像通道的数值(U通道数值和V通道数值)则可以采用其他方式，例如采用插值计算的方式来得到超分辨率后的多个像素点的U、V值。如图7所示，是本发明实施例的一种对图像进行超分辨率处理的流程示意图，在S701中，获取待进行超分辨率处理的图像，这些等待超分辨率处理的图像可以是某些需要提高分辨率的视频的图像帧，或者是一些通过低分辨率的摄像装置拍摄到的图像以及其他一些低分辨率图像。在一个实施例中，例如可以是低于540P分辨率等分辨率阈值的图像都可以认为是低分辨率图像，对于低分辨率图像，可以将低分辨率图像作为待处理的图像进行后续相应的超分辨率处理。在另一个实施例中，低分辨率和高分辨率是相对而言的，在某些图像需要进行超分辨率处理时，这些图像就被认为是低分辨率图像。
在S702中，对获取到的待进行超分辨率处理的图像进行数据提取以及分离操作，分别得到Y通道数值和UV通道数值。在一个实施例中，可以将非YUV图像转换为YUV格式的图像，以便于执行所述S702。在S703中，调用图像处理模型对Y通道数值进行处理，输出N倍超分辨率处理后的Y通道数值，在S704中，基于插值算法对UV通道数值进行计算，比如最邻近插值(变换后像素的灰度值等于距它最近的输入像素的灰度值)、双线性插值、双立方插值、兰索斯Lanczos插值等，得到N倍插值超分辨率处理后的UV通道数值。在S705中，将N倍超分辨率处理后的Y通道数值和N倍插值超分辨率处理后的UV通道数值进行合并，重新排列以得到超分辨率处理后的目标图像。
本发明实施例可以基于降分辨率处理前后的两个图像，能够对包括配置有卷积计算的中间层的模型进行准确、全面的训练优化，最终得到可以进行N倍超分辨率处理的图像处理模型，基于该图像处理模型，一方面能够非常快捷地实现对图像或者视频帧的超分辨率处理，可以直接对图像或者视频帧的相关数据进行超分辨率计算，不用查找低分辨率图像到高分辨率图像的映射关系，超分辨率处理速度和效率明显得到提升，另一方面，对图像的超分辨率处理也更准确和稳定。
再请参见图8，是本发明实施例的一种图像处理模型的优化方法的流程示意图，本发明实施例的所述方法可以应用在能够提供视频和/或图像服务的服务器、智能终端等设备中，该方法主要是对用于进行图像超分辨处理的图像处理模型进行训练优化。所述方法包括如下步骤。
S801：基于卷积神经网络生成用于进行图像分辨率处理的初始模型，所述初始模型包括输入层、输出层和中间层；在一个实施例中，中间层为进行卷积计算的卷积层。在一个实施例中，设计的初始模型的中间层可以只包括卷积层，并不包括其他的诸如激活层等层结构，这样可以方便后续进行更快捷、准确的中间层合并处理，将多个卷积层合并为一个卷积层。除了输入层和输出层外，中间层可以包括多层，初始模型的结构可以如图4所示。
S802：获取训练图像，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像。训练图像可以是各种图像或者视频中的视频帧。第二图像是原始分辨率的图像，一般为高分辨率图像，例如可以为1080P的图像，甚至更高的2K、4K的图像。通过对第二图像进行降分辨率处理，得到第一图像。可以在获取的各高分辨率图像后，对每个高分辨率图像进行插值处理，把图像的分辨率降低。第一图像和第二图像是成对的，为了训练优化得到更好的图像处理模型，所获取的训练图像中的高分辨图像(即第二图像)可以包括数万、数十万甚至更多的图像。第一图像需要输入到初始模型中进行卷积计算，该卷积计算可以认为是超分辨率处理，而第二图像用于对第一图像经过所述初始模型的卷积计算结果所对应的高分辨率的目标图像进行验证，以此来确定是否对所述初始模型中的卷积核参数进行训练优化。
S803：将所述第一图像的图像数据从所述输入层输入到所述中间层进行卷积计算，并从所述输出层获取所述卷积计算的结果数据，所述结果数据包括N*N通道的通道输出数据，所述N为大于2的正整数。如果需要训练优化后得到的图像处理模型能够将图像的分辨率提升为N倍，则需要经由卷积计算得到包括N*N通道的通道输出数据的结果数据，N*N通道输出数据上每个位置处的数值，即为超分辨图像上相应位置处的表示数值。例如，如果需要训练优化后得到的图像处理模型能够实现2倍的超分辨率处理，则需要将原来的1个像素点变成4个像素点，具体的4个像素点的分布可以参考图1所示。所述结果数据所对应的目标图像是指：根据所述结果数据中包括的通道输出数据的各个数值组合得到的图像，所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的表示数值。
图像处理模型的输入层输入的图像数据是一个二维矩阵，例如，第一图像为分辨率M*M(比如960*540)的图像，则输入的图像数据也是M*M(比如对应也为960*540)的二维矩阵，与图像的像素点对应的表示数值一一对应，在二维矩阵的第一行第一列的数值为第一图像中第一行第一列的像素点的表示数值(诸如明度值、或亮度值、或Y通道数值、或者甚至可以是上述提及的遥感图像、地质雷达图像数据等等)。在一个实施例中，如果用RGB来作为表示数值，则输入层输入的图像数据是一个、或者两个、或者三个二维矩阵，也就是说，输入层输入的图像数据是对应的R数值构成的二维矩阵、G数值构成的二维矩阵、B数值构成的二维矩阵中的任意一个或者多个。对RGB对应的每个二维矩阵，各自均可以进行相同的训练处理。
S804：根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新，完成对中间层中各个卷积层的卷积核参数的训练优化，以完成对初始模型的训练，并根据所述参数更新后的初始模型生成图像处理模型。具体可以基于结果数据中各个数值与第二图像中像素点的表示数值之间的差异来确定是否对中间层中卷积核参数进行优化。
在一个实施例中，基于结果数据，按照预设的位置和各个通道的通道输出数据相应位置处的数值，重新进行排列并生成一张超分辨率后的目标图像，将该超分辨率后的目标图像与第二图像进行各个图像位置处的像素点的表示数值比较，确定表示数值差异，以此来确定中间层进行卷积计算的正确情况。
在一个实施例中，也可以不用基于结果数据生成超分辨率后的图像，而只需基于各个输出通道的通道输出数据以及相应数据位置所对应的数值，直接与第二图像中相应位置处的像素点的表示数值进行比较，确定其差异即可。例如，第一个通道的通道输出数据中，左上角顶点的数值与第二图像的左上角顶点的像素点(即第一行第一个像素点)的表示数值进行比较，确定表示数值差异；第二个通道的结果数据中，左上角顶点的数值与第二图像中第一行的第二个像素点的表示数值进行比较，确定表示数值差异。结果数据中每一个通道输出数据为一个二维的数值矩阵，该结果数据上各个数值的分布与第一图像上各个像素点的位置和数量相对应，例如，第一图像是800*600的分辨率，则每一个通道的通道输出数据也为800*600的矩阵，且该矩阵上每一个位置处的数值是对第一图像上相应位置处的像素点的表示数值进行卷积计算得到的，例如，某个输出通道上的通道输出数据中第一行第二列的数值实际是与第一图像上第一行第二列的像素点对应，是根据该第一图像上对应的像素点的表示数值卷积计算得到的。
如果与结果数据对应的目标图像中，超过预设第一数量(例如占第二图像所有像素点数量的90％的数量作为预设数量)位置处的像素点的表示数值与第二图像中相应位置处的像素点的表示数值差异不满足优化条件，则认为当前的模型能够对所述第一图像进行正确的超分辨率处理，不需要对卷积核参数进行更新。在其他实施例中，不满足优化条件可以是指：存在P个表示数值差异指示两个表示数值相同或者差值在预设的差值阈值内，例如超分辨率后的图像中左上角顶点位置的像素点、与第二图像左上角顶点位置的像素点之间的表示数值相同或者插值在预设插值阈值(例如插值阈值为5)内。
而如果超过预设第二数量(例如占第二图像所有像素点数量的10％的数量作为预设数量)的位置处像素点的表示数值与第二图像中相应位置处的像素点的表示数值的表示数值差异满足优化条件，则认为当前的模型不能够对所述第一图像进行正确的超分辨率处理，需要对卷积核参数进行更新。
卷积层中的卷积核也是一个二维的矩阵，例如上述提及的3*3的矩阵，该矩阵上每一个数值称之为卷积核参数，对卷积核参数的优化调整后，使得基于卷积核计算并输出的结果数据所对应的图像上，超过预设的第一数量位置处的像素点的表示数值与第二图像中相应位置处的像素点的表示数值的表示数值差异不满足优化条件。基于结果数据和第二图像进行相应数据的比较结果，来反向对卷积核参数进行调整优化可参考现有技术进行，可以参考一些现有的优化工具来完成，本发明实施例不再赘述。
在一个实施例中，所述S804具体可以包括：确定目标图像与所述第二图像之间的相同图像位置处的像素点的表示数值差异，所述目标图像是根据所述结果数据确定的图像；根据所述表示数值差异对所述初始模型的所述中间层中的卷积核参数进行参数更新，根据参数更新后的初始模型生成图像处理模型。在一个实施例中，所述第一图像的图像数据是指：从所述第一图像中提取的Y通道数值；所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值；所述表示数值差异是指：该结果数据所对应的目标图像与所述第二图像之间的相同图像位置处的像素点的Y通道数值差异，该Y通道数值差异例如可以是Y通道数值的差值等。所述表示数值差异主要用于体现结果数据对应的图像上某个位置处像素点、与所述第二图像上相同位置处的像素点之间变化值，例如Y通道数值的差值、灰度值差值、明度值差值等等。
在一个实施例中，所述第一图像的图像数据是指：从所述第一图像中提取的Y通道数值；所述结果数据所对应的目标图像是由Y通道图像数据、U通道图像数据以及V通道图像数据组合得到；其中，所述目标图像中Y通道图像数据是根据所述结果数据得到的、目标图像中U通道图像数据是对第一图像中提取的U通道数值进行插值计算得到的、目标图像中的V通道图像数据是对第一图像中提取的V通道数值进行插值计算得到的；其中，所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值。
在一个实施例中，是在满足优化条件时，根据所述表示数值差异对所述初始模型的所述中间层中的卷积核参数进行参数更新，完成对卷积核参数的优化。对卷积核参数的参数更新过程也是对卷积核参数的优化过程，优化过程主要是指对卷积核对应的二维矩阵中的数值进行优化，使得计算得到的表示数值差异不满足优化条件。如果不满足优化条件，则表明当前模型已经能够对所述第一图像进行较为准确的超分辨率处理，不需要再进行优化。
再请参见图9，是本发明实施例的根据优化后的初始模型生成图像处理模型的方法流程示意图，本发明实施例的所述方法可以包括如下步骤。
S901：对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到合并卷积层。在一个实施例中，所述中间层至少包括第一卷积层和第二卷积层，所述对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到一个合并卷积层包括：对参数更新后的初始模型中所述中间层包括的第一卷积层和第二卷积层进行合并处理；所述合并处理包括：计算合并卷积层参数和计算合并卷积核。得到了最终的卷积层参数和卷积核参数，即可构建得到合并卷积层。本发明实施例中，合并卷积层参数主要指示卷积核的尺寸，例如针对表1所描述的5层卷积结构，最终计算得到合并卷积层参数为11*11，表明合并卷积层中卷积核的大小为11*11的大小。而计算得到的合并卷积核则构成了合并卷积层中的所有卷积核。
在一个实施例中，所述对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到一个合并卷积层的步骤可以包括：根据参数更新后的初始模型中所述中间层包括的第一卷积层的卷积层参数和第二卷积层的卷积层参数，得到合并卷积层参数；确定合并初始卷积层，所述合并初始卷积层中卷积核的尺寸与所述合并卷积层参数所指示的值相同；根据所述合并初始卷积层得到所述合并卷积层。所述合并卷积层参数为：卷积核长度h＝h1+h2-1，卷积核宽度w＝w1+w2-1，其中，h1是为第一卷积层设置的各个卷积核的高度、w1是为第一卷积层设置的各个卷积核的宽度，h2是为第二卷积层设置的各个卷积核的高度、w2是为第二卷积层设置的各个卷积核的宽度。在一个实施例中，如果所述中间层仅包括第一卷积层和第二卷积层，则所述合并初始卷积层直接可以作为合并卷积层，而如果所述中间层还包括更多的其他卷积层，则可以进一步地将所述合并初始卷积层作为新的第一卷积层，且将下一卷积层(例如第三卷积层)和/或由所述中间层中其他两个卷积层合并处理得到的合并初始卷积层作为新的第二卷积层，重复执行上述的计算合并卷积层参数并得到合并初始卷积层的步骤，以得到最终的合并卷积层。
基于上述提及的公式可以确定合并卷积层参数，即确定合并后卷积层的尺寸。在一个实施例中，还提供了确定合并后的卷积核的计算方式。所述对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到合并卷积层可以包括：分别将参数更新后的初始模型中所述中间层包括的第一卷积层中的卷积核与第二卷积层的卷积核，用卷积核矩阵进行表示，并采用卷积核矩阵对应的矩阵乘法进行卷积合并计算，得到合并卷积核；根据计算得到的合并卷积核，得到合并初始卷积层，该合并卷积核构成了合并初始卷积层中的所有卷积核；根据合并初始卷积层得到合并卷积层；所述合并卷积核中第x行第y列的卷积核为：第一卷积层所对应的卷积核矩阵中第i行每个元素，与第二卷积层所对应的卷积核矩阵中第j列每个元素一一卷积后得到的新卷积核进行求和计算后得到的卷积核，其中，所述用卷积核矩阵进行表示是指：卷积核矩阵中的每一个元素对应于第一卷积层或第二卷积层中的一个卷积核，也就是说，第一卷积层所对应的卷积核矩阵中每一个元素对应第一卷积层的一个卷积核，第二卷积层所对应的卷积核矩阵中每一个元素对应第二卷积层的一个卷积核。在一个实施例中，合并卷积核的具体计算方式可以参考上述的公式3所对应的描述。
在一个实施例中，如果所述中间层仅包括第一卷积层和第二卷积层，则所述合并初始卷积层直接可以作为合并卷积层，而如果所述中间层还包括更多的其他卷积层，则可以进一步地将所述合并初始卷积层作为新的第一卷积层，且将下一卷积层(例如第三卷积层)和/或由所述中间层中其他两个卷积层合并处理得到的合并初始卷积层作为新的第二卷积层，重复执行上述的计算合并卷积核并得到合并初始卷积层的步骤，以得到最终的合并卷积层。
S902：根据所述输入层、输出层和所述合并卷积层，生成图像处理模型。可以直接生成一个包括所述输入层输出层和所述合并卷积层的图像处理模型。在一个实施例中，可以进一步地对所述合并卷积层进行分解，所述S902可以具体包括：根据所述合并卷积层中卷积核参数进行分解处理，将卷积核参数分解为一行参数和一列参数；根据所述输入层、输出层和分解得到的一行参数和一列参数生成图像处理模型。这样可以将二维的卷积计算变成两个一维的卷积计算，进一步地提高的计算效率。在一个实施例中，可以对合并卷积层的每一个卷积核均进行上述的分解处理。
本发明实施例可以基于降分辨率处理前后的两个图像，对包括配置有卷积计算的中间层的模型进行训练优化，最终得到可以进行N倍超分辨率处理的图像处理模型，基于该由特殊结构和训练方式生成的图像处理模型，一方面能够非常快捷地实现对图像或者视频帧的超分辨率处理，超分辨率处理速度和效率明显得到提升，另一方面，超分辨率处理也更准确和稳定。
再请参见图10，是本发明实施例的一种图像处理方法的流程示意图，本发明实施例的所述方法也可以由能够提供图像或者视频服务的服务器、智能终端来实现，本发明实施例的所述方法包括如下步骤。
S1001：获取待处理图像的目标图像数据；所述目标图像数据可以对应于需要进行超分辨率处理的单张图像，也可以是需要为用户播放且需要进行超分辨率处理的视频中的视频帧。目标图像数据可以是指待处理图像中的各位置处的像素点对应的表示数值。
需要进行超分辨率处理可以是指用户在用于显示图像的用户界面上选择了相应的超分辨率功能，例如，在该用户界面上设置了超清显示按钮，如果该按钮被点击，将该超期显示按钮关联的分辨率作为分辨率阈值，在图像播放的过程中，如果需要播放的图像的分辨率低于该分辨率阈值，则将其作为待处理图像，获取待处理图像的目标图像数据。也就是说，在所述S1001之前，所述方法还可以包括：如果接收到待处理图像，则确定该待处理图像的分辨率；如果确定的分辨率低于分辨率阈值，则触发执行所述获取待处理图像的目标图像数据；其中，所述分辨率阈值是在用于显示图像的用户界面上配置确定的。所述用户界面可以浏览图像的界面，也可以是播放视频的界面，待处理图像可以是等待显示的图像，也可以是视频中等待播放的视频帧。
在端到端之间传递图像时，可以根据端到端之间的数据传输资源信息，例如可用带宽资源、传输速率等，来确定所传数据的分辨率，如果数据传输资源充足，则发送端可以将低分辨率(低于分辨率阈值)的图像进行超分辨率处理后，传输给图像接收端，如果数据传输资源不充足，则直接发送低于分辨率阈值的图像，甚至可以将高分辨率图像进行降分辨率处理后再发送给图像接收端。在一个实施例中，可以获取与图像接收端之间的数据传输资源信息；如果数据传输资源信息满足限制条件，则向所述图像接收端发送所述待处理图像；如果数据传输资源信息不满足限制条件，则触发执行所述S1001，以便于将生成的所述待处理的图像所对应的提高N倍分辨率的目标图像发送给所述图像接收端；其中，数据传输资源信息满足限制条件包括：带宽资源量低于预设的带宽阈值、和/或数据传输速率低于预设的速率阈值。
在一个实施例中，视频播放器上也可以设置相应的按钮，用户点击该按钮后，该视频播放器或者通过其他应用先将等待播放的视频帧作为待处理图像，以便于向用户播放更高分辨率的视频。在一个实施例中，所述获取待处理图像的目标图像数据之前，还包括：如果接收到视频播放请求，则确定该视频播放请求所请求的目标视频；如果所述目标视频的视频帧的清晰度低于视频播放清晰度阈值，按照该目标视频的播放时间顺序，依次将该目标视频的视频帧作为待处理图像，并触发执行所述获取待处理图像的目标图像数据，以便于输出各待处理图像所对应的提高N倍分辨率的目标图像。
S1002：通过图像处理模型对所述目标图像数据进行处理，得到包括N*N通道的通道输出数据的结果数据，所述N为大于2的正整数；所述图像处理模型为预先设置的能够实现N倍超分辨率处理的模型，所述图像处理模型包括输入层、输出层和中间层，所述中间层中的卷积核参数是基于训练图像进行参数更新后确定的，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像，其中，所述图像处理模型中的中间层是根据所述第二图像和结果数据对中间层中的卷积核参数进行更新后确定的，所述结果数据是更新前的中间层对所述第一图像的图像数据进行卷积计算后得到的包括N*N通道的通道输出数据。该图像处理模型相关的训练优化以及生成方式可参考上述各个实施例的相关描述。
所述图像处理模型可以是根据针对所述待处理图像请求的超分辨率倍数值，从预置的图像处理模型集合中选择的与该选择的超分辨率倍数值对应的模型，图像处理模型集合中预置了多个能够提供不同倍数的超分辨率处理的图像处理模型。
在一个实施例中，在所述S1001之前，还可以包括判断得到的待处理图像的图像数据是否为RGB数值，如果是，则获取RGB数值作为目标图像数据，并选择三个图像处理模型，所述S1002则包括，通过三个图像处理模型对所述RGB数值进行处理，得到对应于RGB数值的三个N*N通道的结果数据，其中，三个图像处理模型中第一图像处理模型用于对R数值进行处理，第二图像处理模型用于对G数值进行处理，第三图像处理模型用于对B数值进行处理。如果不是RGB数值而是YUV数值，则提取其中的Y数值作为目标图像数据，所述S1002则包括，通过一个图像处理模型对Y通道数值进行处理，得到N*N通道的结果数据。针对HSV也可以提取明度V数值作为目标图像数据，针对HSL也可以提取亮度L数值作为目标图像数据。
输入层输入的图像数据是一个二维矩阵，例如，待处理图像为分辨率M*M(比如960*540)的图像，则二维矩阵也是M*M(比如960*540)的二维矩阵，与待处理图像的像素点对应的表示数值一一对应，在二维矩阵的第一行第一列的数值为待处理图像中第一行第一列的像素点的表示数值(诸如明度值、或亮度值、或Y通道数值)，二维矩阵的第一行第二列的数值则对应为待处理图像中第一行第二列的像素点的表示数值，以此类推。
在一个实施例中，如果用RGB来作为表示数值，则输入层输入的图像数据是一个、或者两个、或者三个二维矩阵，也就是说，输入层输入的图像数据是对应的R数值构成的二维矩阵、G数值构成的二维矩阵、B数值构成的二维矩阵中的任意一个或者多个。对RGB对应的每个二维矩阵，各自进行相同的超分辨率处理。
S1003：根据所述结果数据，生成所述待处理图像所对应的提高N倍分辨率的目标图像。N*N通道的结果数据中，每一个数值均为一个像素点的表示数值，将这些结果数据中各个数值按照预设顺序进行排列，得到一张超分辨率处理后的图像。预设的顺序可以是针对每一个通道数据指定的排列顺序，例如，针对2倍的图像处理模型，第一个通道中第一行第一列的数值作为超分辨图像的第一行第一列的像素点的表示数值，第二个通道中第一行第一列的数值作为超分辨图像中第一行第二列的像素点的表示数值，第三个通道中第一行第一列的数值作为高分辨率图像中第二行第一列的像素点的表示数值，第四个通道中第一行第一列的数值作为高分辨率图像中第二行第二列的像素点的表示数值。简单来讲，图像处理模型将图像进行N倍超分辨率处理，是将原图像中的一个像素点变成N*N个像素点，结果数据中每个通道的数值依序排列构成这N*N个像素点的表示数值，最终排列得到一张超分辨率处理后的图像。
在一个实施例中，目标图像数据可以仅仅为图像或者视频帧的Y通道数值，后续步骤仅针对的是图像的Y通道数值进行的超分辨率处理，而图像其他的U通道数值和V通道数值，则可以通过其他的超分辨率处理步骤，例如通过插值的相关步骤来实现。也就是说，在本发明实施例中，所述目标图像数据包括从所述待处理图像中提取的Y通道数值；所述结果数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值；所述根据所述结果数据，生成所述待处理的图像所对应的提高N倍分辨率的目标图像，包括：根据N*N通道的结果数据中每一个数值组合得到Y通道图像数据；对从待处理图像中提取的U通道数值进行插值计算，得到U通道图像数据；对从所述待处理图像中提取的V通道数值进行插值计算，得到V通道图像数据；将所述Y通道图像数据、所述U通道图像数据和所述V通道图像数据进行合并处理，得到对应的提高N倍分辨率的目标图像。
如下表3所示，是利用本发明实施例中的图像处理模型进行超分辨率处理所耗时长、与目前基于低分辨率图像到高分辨率图像之间映射关系来进行超分辨率处理所耗时长之间的关系示意。测试环境均为：中央处理器CPU Intel E5v4 2.40GHz 16核(一款处理器)，10G内存，均无图像处理器(Graphics Processing Unit，GPU)。
表3
通过表3发现，通过本发明实施例，能够非常快捷地实现对图像或者视频帧的超分辨率处理，超分辨率处理速度和效率明显得到提升，并且超分辨率处理也更准确和稳定。
下面在对本发明实施例的相关装置及设备进行详细描述。
请参见图11，是本发明实施例的一种图像处理模型的优化装置的结构示意图，本发明实施例的所述装置可以设置在能够提供各种图像服务的服务器或者智能终端中，所述装置包括如下结构。
生成模块1101，用于基于卷积神经网络生成用于进行图像分辨率处理的初始模型，所述初始模型包括输入层、输出层和中间层；
获取模块1102，用于获取训练图像，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像；
计算模块1103，用于将所述第一图像的图像数据从所述输入层输入到所述中间层进行卷积计算，并从所述输出层获取所述卷积计算的结果数据，所述结果数据包括N*N通道的通道输出数据，所述N为大于2的正整数；
处理模块1104，用于根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新，并根据所述参数更新后的初始模型生成图像处理模型。
在一个实施例中，所述处理模块1104，在用于根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新时，用于确定目标图像与所述第二图像之间的相同图像位置处的像素点的表示数值差异，所述目标图像是根据所述结果数据确定的图像；根据所述表示数值差异对所述初始模型的所述中间层中的卷积核参数进行参数更新。
在一个实施例中，所述中间层包括至少两个卷积层，且卷积层之间直接相连；所述处理模块1104，在用于根据所述参数更新后的初始模型生成图像处理模型时，用于对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到合并卷积层；根据所述输入层、输出层和所述合并卷积层，生成图像处理模型。
在一个实施例中，所述中间层包括第一卷积层和第二卷积层，所述处理模块1104，在用于对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到合并卷积层时，用于根据参数更新后的初始模型中所述中间层包括的第一卷积层的卷积层参数和第二卷积层的卷积层参数，得到合并卷积层参数，确定合并初始卷积层，其中，所述合并初始卷积层中卷积核的尺寸与所述合并卷积层参数所指示的值相同，根据所述合并初始卷积层得到所述合并卷积层；其中，所述合并卷积层参数包括：卷积核长度h＝h1+h2-1，卷积核宽度w＝w1+w2-1，其中，h1是为第一卷积层设置的各个卷积核的高度、w1是为第一卷积层设置的各个卷积核的宽度，h2是为第二卷积层设置的各个卷积核的高度、w2是为第二卷积层设置的各个卷积核的宽度。
在一个实施例中，所述中间层包括第一卷积层和第二卷积层，所述处理模块1104，在用于对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到合并卷积层时，用于分别将参数更新后的初始模型中所述中间层包括的第一卷积层中的卷积核与第二卷积层的卷积核，用卷积核矩阵进行表示，并采用卷积核矩阵对应的矩阵乘法进行卷积合并计算，得到合并卷积核；根据计算得到的合并卷积核，得到合并初始卷积层；根据合并初始卷积层得到合并卷积层；所述合并卷积核中第x行第y列的卷积核为：第一卷积层所对应的卷积核矩阵中第i行每个元素，与第二卷积层所对应的卷积核矩阵中第j列每个元素一一卷积后得到的新卷积核进行求和计算后得到的卷积核，其中，所述用卷积核矩阵进行表示是指：卷积核矩阵中的每一个元素对应于第一卷积层或第二卷积层中的一个卷积核。
在一个实施例中，所述处理模块1104，在用于根据所述输入层、输出层和所述合并卷积层，生成图像处理模型时，用于将所述合并卷积层中卷积核参数分解为一行参数和一列参数；根据所述输入层、输出层和分解得到的一行参数和一列参数生成图像处理模型。
在一个实施例中，所述目标图像是指：根据所述结果数据中包括的通道输出数据的各个数值组合得到的图像，所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的表示数值。
在一个实施例中，所述第一图像的图像数据是指：从所述第一图像中提取的Y通道数值；所述结果数据所对应的目标图像是由Y通道图像数据、U通道图像数据以及V通道图像数据组合得到；其中，所述目标图像中Y通道图像数据是根据所述结果数据得到的、目标图像中U通道图像数据是对第一图像中提取的U通道数值进行插值计算得到的、目标图像中的V通道图像数据是对第一图像中提取的V通道数值进行插值计算得到的；其中，所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值。
在一个实施例中，所述第一图像的图像数据是指：从所述第一图像中提取的Y通道数值；所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值；所述表示数值差异是指：该结果数据所对应的目标图像与所述第二图像之间的相同图像位置处的像素点的Y通道数值差异。
本发明实施例中各个功能模块的具体实现可参考上述实施例中相关步骤的描述，在此不赘述。
本发明实施例可以基于降分辨率处理前后的两个图像，对包括配置有用于进行卷积计算的中间层的模型进行训练优化，最终得到可以进行N倍超分辨率处理的图像处理模型，这种训练方式可以使得图像处理模型能够高质量、更准确地进行超分辨率处理。
再请参见图12，是本发明实施例的一种图像处理装置的结构示意图，所述装置可以设置在能够提供各种图像服务的服务器或智能终端中，所述装置可以包括如下结构。
获取模块1201，用于获取待处理图像的目标图像数据；
处理模块1202，用于通过图像处理模型对所述目标图像数据进行处理，得到包括N*N通道的通道输出数据的结果数据，所述N为大于2的正整数；
生成模块1203，用于根据所述结果数据，生成所述待处理图像所对应的提高N倍分辨率的目标图像；
所述图像处理模型包括输入层、输出层和中间层，所述中间层中的卷积核参数是基于训练图像进行参数更新后确定的，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像，其中，所述图像处理模型中的中间层是根据所述第二图像和结果数据对中间层中的卷积核参数进行更新后得到的，所述结果数据是更新前的中间层对所述第一图像的图像数据进行卷积计算后得到的包括N*N通道的通道输出数据。
在一个实施例中，所述目标图像数据包括从所述待处理图像中提取的Y通道数值；所述结果数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值；所述生成模块1203，在用于根据所述结果数据，生成所述待处理的图像所对应的提高N倍分辨率的目标图像时，用于根据N*N通道的结果数据中每一个数值组合得到Y通道图像数据；对从待处理图像中提取的U通道数值进行插值计算，得到U通道图像数据；对从所述待处理图像中提取的V通道数值进行插值计算，得到V通道图像数据；将所述Y通道图像数据、所述U通道图像数据和所述V通道图像数据进行合并处理，得到对应的提高N倍分辨率的目标图像。
在一个实施例中，所述装置还可以包括监控模块1204，用于如果接收到待处理图像，则确定该待处理图像的分辨率；如果确定的分辨率低于分辨率阈值，则触发所述获取模块1201执行所述获取待处理图像的目标图像数据；其中，所述分辨率阈值是在用于显示图像的用户界面上配置确定的。
在一个实施例中，所述装置还可以包括监控模块1204和发送模块1205，所述监控模块1204，用于获取与图像接收端之间的数据传输资源信息；如果数据传输资源信息满足限制条件，则触发所述发送模块1205向所述图像接收端发送所述待处理图像；如果数据传输资源信息不满足限制条件，则触发所述获取模块1201获取待处理图像的目标图像数据，以便于将生成的所述待处理的图像所对应的提高N倍分辨率的目标图像发送给所述图像接收端；其中，数据传输资源信息满足限制条件包括：带宽资源量低于预设的带宽阈值、和/或数据传输速率低于预设的速率阈值。
在一个实施例中，所述装置还可以包括监控模块1204，用于如果接收到视频播放请求，则确定该视频播放请求所请求的目标视频；如果所述目标视频的视频帧的清晰度低于视频播放清晰度阈值，按照该目标视频的播放时间顺序，依次将该目标视频的视频帧作为待处理图像，并触发所述获取模块1201执行所述获取待处理图像的目标图像数据，以便于输出各待处理图像所对应的提高N倍分辨率的目标图像。
本发明实施例中各个功能模块的具体实现可参考上述实施例中相关步骤的描述，在此不赘述。
本发明实施例基于由特殊结构和训练方式生成的图像处理模型，一方面能够非常快捷地实现对图像(例如各种图片、视频帧等)的超分辨率处理，超分辨率处理速度和效率明显得到提升，另一方面，基于该图像处理模型对图像的超分辨率处理也更准确和稳定。
再请参见图13，是本发明实施例的一种图像处理设备的结构示意图，该图像处理设备可以根据需要包括供电模块、外壳结构，以及所需的各种数据接口1302、网络接口1304等，并且该图像处理设备还包括：处理器1301和存储装置1303。
通过数据接口1302和网络接口1304，所述图像处理设备可以与服务器或者智能终端交互数据。在本发明实施例中，通过数据接口1302可以从服务器或者管理用户接收到各种各样的高分辨率图像作为训练图像中的第二图像，而通过网络接口1304则可以透过网络获取到更多的高分辨率图像作为训练图像中的第二图像，图像处理设备将这些训练图像存储到所述存储装置1303中，以便于对初始模型进行训练得到图像处理模型。
所述存储装置1303可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置1303也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储装置1303还可以包括上述种类的存储器的组合。
所述处理器1301可以是中央处理器(central processing unit，CPU)。所述处理器1301还可以进一步包括硬件芯片。该硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。
所述存储装置1303中存储有计算机程序指令，所述处理器1301可以调用这些计算机程序指令，用于实现上述提及的对图像处理模型的训练优化的相关方法步骤。
在一个实施例中，所述存储装置1303，用于存储计算机程序指令；所述处理器1301，调用所述存储装置1303中存储的计算机程序指令，用于基于卷积神经网络生成用于进行图像分辨率处理的初始模型，所述初始模型包括输入层、输出层和中间层；获取训练图像，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像；将所述第一图像的图像数据从所述输入层输入到所述中间层进行卷积计算，并从所述输出层获取所述卷积计算的结果数据，所述结果数据包括N*N通道的通道输出数据，所述N为大于2的正整数；根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新，并根据所述参数更新后的初始模型生成图像处理模型。
在一个实施例中，所述处理器1301，在用于根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新时，用于确定目标图像与所述第二图像之间的相同图像位置处的像素点的表示数值差异，所述目标图像是根据所述结果数据确定的图像；根据所述表示数值差异对所述初始模型的所述中间层中的卷积核参数进行参数更新，以完成对卷积层中各个卷积核参数的训练优化。
在一个实施例中，所述初始模型中的所述中间层包括至少两个卷积层，且卷积层之间直接相连；所述处理器1301，在用于根据所述参数更新后的初始模型生成图像处理模型时，用于对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到合并卷积层；根据所述输入层、输出层和所述合并卷积层，生成图像处理模型。其中，可以对参数更新后的初始模型中所述中间层包括的第一卷积层和第二卷积层进行合并处理；所述合并处理包括：计算合并卷积层参数和计算合并卷积核。
在一个实施例中，所述中间层包括第一卷积层和第二卷积层，所述处理器1301，在用于对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到合并卷积层时，用于根据参数更新后的初始模型中所述中间层包括的第一卷积层的卷积层参数和第二卷积层的卷积层参数，得到合并卷积层参数；确定合并初始卷积层，其中，所述合并初始卷积层中卷积核的尺寸与所述合并卷积层参数所指示的值相同；根据所述合并初始卷积层得到所述合并卷积层；其中，所述合并卷积层参数包括：卷积核长度h＝h1+h2-1，卷积核宽度w＝w1+w2-1，其中，h1是为第一卷积层设置的各个卷积核的高度、w1是为第一卷积层设置的各个卷积核的宽度，h2是为第二卷积层设置的各个卷积核的高度、w2是为第二卷积层设置的各个卷积核的宽度。
在一个实施例中，所述中间层包括第一卷积层和第二卷积层，所述处理器1301，在用于对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到合并卷积层时，用于分别将参数更新后的初始模型中所述中间层包括的第一卷积层中的卷积核与第二卷积层的卷积核，用卷积核矩阵进行表示，并采用卷积核矩阵对应的矩阵乘法进行卷积合并计算，得到合并卷积核；根据计算得到的合并卷积核，得到合并初始卷积层；根据合并初始卷积层得到合并卷积层；所述合并卷积核中第x行第y列的卷积核为：第一卷积层所对应的卷积核矩阵中第i行每个元素，与第二卷积层所对应的卷积核矩阵中第j列每个元素一一卷积后得到的新卷积核进行求和计算后得到的卷积核，其中，所述用卷积核矩阵进行表示是指：卷积核矩阵中的每一个元素对应于第一卷积层或第二卷积层中的一个卷积核。
在一个实施例中，所述处理器1301，在用于根据所述输入层、输出层和所述合并卷积层，生成图像处理模型时，用于将所述合并卷积层中卷积核参数分解为一行参数和一列参数；根据所述输入层、输出层和分解得到的一行参数和一列参数生成图像处理模型。
在一个实施例中，所述结果数据所对应的目标图像是指：根据结果数据中包括的通道输出数据的各个数值组合得到的图像，所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的表示数值。
在一个实施例中，所述第一图像的图像数据是指：从所述第一图像中提取的Y通道数值；所述结果数据所对应的目标图像是由Y通道图像数据、U通道图像数据以及V通道图像数据组合得到；其中，所述目标图像中Y通道图像数据是根据所述结果数据得到的、目标图像中U通道图像数据是对第一图像中提取的U通道数值进行插值计算得到的、目标图像中的V通道图像数据是对第一图像中提取的V通道数值进行插值计算得到的；其中，所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值。
在一个实施例中，所述第一图像的图像数据是指：从所述第一图像中提取的Y通道数值；所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值；所述表示数值差异是指：该结果数据所对应的目标图像与所述第二图像之间的相同图像位置处的像素点的Y通道数值差异。
本发明实施例中所述处理器1301的具体实现可参考上述实施例中相关步骤的描述，在此不赘述。
本发明实施例可以基于降分辨率处理前后的两个图像，对包括配置有用于进行卷积计算的中间层的模型进行训练优化，最终得到可以进行N倍超分辨率处理的图像处理模型，这种训练方式方式可以使得图像处理模型能够高质量、更准确地进行超分辨率处理。
再请参见图14，是本发明实施例的另一种图像处理设备的结构示意图，该图像处理设备可以根据需要包括供电模块、外壳结构以及各种所需的数据接口1403、网络接口1404等，并且该图像处理设备还包括：处理器1401和存储装置1402。
通过所述网络接口1404，图像处理设备可以接入到网络与服务器或者智能终端相连。当所述图像处理设备作为服务器时，通过该网络接口1404可以根据需求将低分辨率的各种图像或视频，或者从低分辨率进行超分辨率处理得到的图像或视频发送给具有图像播放需求的智能终端。而通过所述数据接口1403则可以接收图像管理用户或者其他服务器传输的各种类型的图片数据或者视频数据，存储到所述存储装置1402中以供用户使用。
当所述图像处理设备是一智能终端时，通过网络接口1404则可以接入到提供各种图像或者视频服务的应用服务器，从而获取到低分辨率图像、视频；或者获取到从低分辨率或者视频进行超分辨率处理后得到的高分辨率图像或者视频，通过所述数据接口1403则可以接收用户或者其他智能终端传输的低分辨率图像、视频；或者获取到从低分辨率或者视频进行超分辨率处理后得到的高分辨率图像或者视频。并且，该图像处理设备还可以包括用户接口1405，例如触摸屏、物理按键、语音输入、图像输入等接口，以便于接收用户的一些操作并向用户展示视频或者图像。
所述存储装置1402可以包括易失性存储器，例如RAM；存储装置1402也可以包括非易失性存储器，例如SSD等；存储装置1402还可以包括上述种类的存储器的组合。
所述处理器1401可以是CPU。所述处理器1401还可以进一步包括硬件芯片。上述硬件芯片可以是ASIC，PLD等。上述PLD可以是FPGA，GAL等。
所述存储装置1402中存储有计算机程序指令，所述处理器1401可以调用这些计算机程序指令，用于实现上述提及的基于图像处理模型对图像进行相应处理的方法步骤。
在一个实施例中，所述存储装置1402，用于存储计算机程序指令；所述处理器1401，调用所述存储装置1402中存储的计算机程序指令，用于获取待处理图像的目标图像数据；通过图像处理模型对所述目标图像数据进行处理，得到包括N*N通道的通道输出数据的结果数据，所述N为大于2的正整数；根据所述结果数据，生成所述待处理图像所对应的提高N倍分辨率的目标图像；所述图像处理模型包括输入层、输出层和中间层，所述中间层中的卷积核参数是基于训练图像进行参数更新后确定的，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像，其中，所述图像处理模型中的中间层是根据所述第二图像和结果数据对中间层中的卷积核参数进行更新后得到的，所述结果数据是更新前的中间层对所述第一图像的图像数据进行卷积计算后得到的包括N*N通道的通道输出数据。
在一个实施例中，所述目标图像数据包括从所述待处理图像中提取的Y通道数值；所述结果数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值；所述处理器1401，在用于根据所述结果数据，生成所述待处理的图像所对应的提高N倍分辨率的目标图像时，用于根据N*N通道的结果数据中每一个数值组合得到Y通道图像数据；对从待处理图像中提取的U通道数值进行插值计算，得到U通道图像数据；对从所述待处理图像中提取的V通道数值进行插值计算，得到V通道图像数据；将所述Y通道图像数据、所述U通道图像数据和所述V通道图像数据进行合并处理，得到对应的提高N倍分辨率的目标图像。
在一个实施例中，所述处理器1401，在用于获取待处理图像的目标图像数据之前，还用于如果接收到待处理图像，则确定该待处理图像的分辨率；如果确定的分辨率低于分辨率阈值，则触发执行所述获取待处理图像的目标图像数据；其中，所述分辨率阈值是在用于显示图像的用户界面上配置确定的。
在一个实施例中，所述处理器1401，在用于获取待处理图像的目标图像数据之前，还用于获取与图像接收端之间的数据传输资源信息；如果数据传输资源信息满足限制条件，则向所述图像接收端发送所述待处理图像；如果数据传输资源信息不满足限制条件，则触发执行所述获取待处理图像的目标图像数据，以便于将生成的所述待处理的图像所对应的提高N倍分辨率的目标图像发送给所述图像接收端；其中，数据传输资源信息满足限制条件包括：带宽资源量低于预设的带宽阈值、和/或数据传输速率低于预设的速率阈值。
在一个实施例中，所述处理器1401，在用于获取待处理图像的目标图像数据之前，还用于如果接收到视频播放请求，则确定该视频播放请求所请求的目标视频；如果所述目标视频的视频帧的清晰度低于视频播放清晰度阈值，按照该目标视频的播放时间顺序，依次将该目标视频的视频帧作为待处理图像，并触发执行所述获取待处理图像的目标图像数据，以便于输出各待处理图像所对应的提高N倍分辨率的目标图像。
本发明实施例中所述处理器1401的具体实现可参考上述实施例中相关步骤的描述，在此不赘述。
本发明实施例基于由特殊结构和训练方式生成的图像处理模型，一方面能够非常快捷地实现对图像(例如各种图片、视频帧等)的超分辨率处理，超分辨率处理速度和效率明显得到提升，另一方面，基于该图像处理模型对图像的超分辨率处理也更准确和稳定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (19)

1.一种图像处理模型的生成方法，其特征在于，包括：
基于卷积神经网络生成用于进行图像分辨率处理的初始模型，所述初始模型包括输入层、输出层和中间层；
获取训练图像，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像；
将所述第一图像的图像数据从所述输入层输入到所述中间层进行卷积计算，并从所述输出层获取所述卷积计算的结果数据，所述结果数据包括N*N通道的通道输出数据，所述N为大于2的正整数；
根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新，并根据所述参数更新后的初始模型生成图像处理模型。
2.如权利要求1所述的方法，其特征在于，所述根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新，包括：
确定目标图像与所述第二图像之间的相同图像位置处的像素点的表示数值差异，所述目标图像是根据所述结果数据确定的图像；
根据所述表示数值差异对所述初始模型的所述中间层中的卷积核参数进行参数更新。
3.如权利要求1所述的方法，其特征在于，所述中间层包括至少两个卷积层，且卷积层之间直接相连；所述根据所述参数更新后的初始模型生成图像处理模型，包括：
对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到合并卷积层；
根据所述输入层、输出层和所述合并卷积层，生成图像处理模型。
4.如权利要求3所述的方法，其特征在于，所述对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到合并卷积层，包括：
根据参数更新后的初始模型中所述中间层包括的第一卷积层的卷积层参数和第二卷积层的卷积层参数，得到合并卷积层参数；
确定合并初始卷积层，其中，所述合并初始卷积层中卷积核的尺寸与所述合并卷积层参数所指示的值相同；
根据所述合并初始卷积层得到所述合并卷积层；
其中，所述合并卷积层参数包括：卷积核长度h＝h1+h2-1，卷积核宽度w＝w1+w2-1，其中，h1是为第一卷积层设置的各个卷积核的高度、w1是为第一卷积层设置的各个卷积核的宽度，h2是为第二卷积层设置的各个卷积核的高度、w2是为第二卷积层设置的各个卷积核的宽度。
5.如权利要求3所述的方法，其特征在于，所述对参数更新后的初始模型中所述中间层的至少两个卷积层进行卷积层合并处理，得到合并卷积层，包括：
分别将参数更新后的初始模型中所述中间层包括的第一卷积层中的卷积核与第二卷积层的卷积核，用卷积核矩阵进行表示，并采用卷积核矩阵对应的矩阵乘法进行卷积合并计算，得到合并卷积核；
根据计算得到的合并卷积核，得到合并初始卷积层；
根据合并初始卷积层得到合并卷积层；
所述合并卷积核中第x行第y列的卷积核为：第一卷积层所对应的卷积核矩阵中第i行每个元素，与第二卷积层所对应的卷积核矩阵中第j列每个元素一一卷积后得到的新卷积核进行求和计算后得到的卷积核，其中，所述用卷积核矩阵进行表示是指：卷积核矩阵中的每一个元素对应于第一卷积层或第二卷积层中的一个卷积核。
6.如权利要求3-5任一项所述的方法，其特征在于，所述根据所述输入层、输出层和所述合并卷积层，生成图像处理模型，包括：
将所述合并卷积层中卷积核参数分解为一行参数和一列参数；
根据所述输入层、输出层和分解得到的一行参数和一列参数生成图像处理模型。
7.如权利要求2所述的方法，其特征在于，所述目标图像是指：根据所述结果数据中包括的通道输出数据的各个数值组合得到的图像，所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的表示数值。
8.如权利要求1或2所述的方法，其特征在于，所述第一图像的图像数据是指：从所述第一图像中提取的Y通道数值；所述结果数据所对应的目标图像是由Y通道图像数据、U通道图像数据以及V通道图像数据组合得到；
其中，所述目标图像中Y通道图像数据是根据所述结果数据得到的、目标图像中U通道图像数据是对第一图像中提取的U通道数值进行插值计算得到的、目标图像中的V通道图像数据是对第一图像中提取的V通道数值进行插值计算得到的；
其中，所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值。
9.如权利要求2所述的方法，其特征在于，所述第一图像的图像数据是指：从所述第一图像中提取的Y通道数值；所述结果数据中每一个通道输出数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值；
所述表示数值差异是指：该结果数据所对应的目标图像与所述第二图像之间的相同图像位置处的像素点的Y通道数值差异。
10.一种图像处理方法，其特征在于，包括：
获取待处理图像的目标图像数据；
通过图像处理模型对所述目标图像数据进行处理，得到包括N*N通道的通道输出数据的结果数据，所述N为大于2的正整数；
根据所述结果数据，生成所述待处理图像所对应的提高N倍分辨率的目标图像；
所述图像处理模型包括输入层、输出层和中间层，所述中间层中的卷积核参数是基于训练图像进行参数更新后确定的，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像，其中，所述图像处理模型中的中间层是根据所述第二图像和结果数据对中间层中的卷积核参数进行更新后得到的，所述结果数据是更新前的中间层对所述第一图像的图像数据进行卷积计算后得到的包括N*N通道的通道输出数据。
11.如权利要求10所述的方法，其特征在于，所述目标图像数据包括从所述待处理图像中提取的Y通道数值；所述结果数据中的一个数值用于表示所述目标图像的其中一个像素点的Y通道数值；
所述根据所述结果数据，生成所述待处理的图像所对应的提高N倍分辨率的目标图像，包括：
根据N*N通道的结果数据中每一个数值组合得到Y通道图像数据；
对从待处理图像中提取的U通道数值进行插值计算，得到U通道图像数据；
对从所述待处理图像中提取的V通道数值进行插值计算，得到V通道图像数据；
将所述Y通道图像数据、所述U通道图像数据和所述V通道图像数据进行合并处理，得到对应的提高N倍分辨率的目标图像。
12.如权利要求10或11所述的方法，其特征在于，在所述获取待处理图像的目标图像数据之前，还包括：
如果接收到待处理图像，则确定该待处理图像的分辨率；
如果确定的分辨率低于分辨率阈值，则触发执行所述获取待处理图像的目标图像数据；
其中，所述分辨率阈值是在用于显示图像的用户界面上配置确定的。
13.如权利要求10或11所述的方法，其特征在于，在所述获取待处理图像的目标图像数据之前，还包括：
获取与图像接收端之间的数据传输资源信息；
如果所述数据传输资源信息满足限制条件，则向所述图像接收端发送所述待处理图像；
如果所述数据传输资源信息不满足限制条件，则触发执行所述获取待处理图像的目标图像数据，以便于将生成的所述待处理的图像所对应的提高N倍分辨率的目标图像发送给所述图像接收端；
其中，所述数据传输资源信息满足限制条件包括：带宽资源量低于预设的带宽阈值、和/或数据传输速率低于预设的速率阈值。
14.如权利要求10或11所述的方法，其特征在于，所述获取待处理图像的目标图像数据之前，还包括：
如果接收到视频播放请求，则确定该视频播放请求所请求的目标视频；
如果所述目标视频的视频帧的清晰度低于视频播放清晰度阈值，按照该目标视频的播放时间顺序，依次将该目标视频的视频帧作为待处理图像，并触发执行所述获取待处理图像的目标图像数据，以便于输出各待处理图像所对应的提高N倍分辨率的目标图像。
15.一种图像处理模型的生成装置，其特征在于，包括：
生成模块，用于基于卷积神经网络生成用于进行图像分辨率处理的初始模型，所述初始模型包括输入层、输出层和中间层；
获取模块，用于获取训练图像，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像；
计算模块，用于将所述第一图像的图像数据从所述输入层输入到所述中间层进行卷积计算，并从所述输出层获取所述卷积计算的结果数据，所述结果数据包括N*N通道的通道输出数据，所述N为大于2的正整数；
处理模块，用于根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新，并根据所述参数更新后的初始模型生成图像处理模型。
16.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理图像的目标图像数据；
处理模块，用于通过图像处理模型对所述目标图像数据进行处理，得到包括N*N通道的通道输出数据的结果数据，所述N为大于2的正整数；
生成模块，用于根据所述结果数据，生成所述待处理图像所对应的提高N倍分辨率的目标图像；
所述图像处理模型包括输入层、输出层和中间层，所述中间层中的卷积核参数是基于训练图像进行参数更新后确定的，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像，其中，所述图像处理模型中的中间层是根据所述第二图像和结果数据对中间层中的卷积核参数进行更新后得到的，所述结果数据是更新前的中间层对所述第一图像的图像数据进行卷积计算后得到的包括N*N通道的通道输出数据。
17.一种图像处理设备，其特征在于，包括：处理器和存储装置；
所述存储装置，用于存储计算机程序指令；
所述处理器，调用所述存储装置中存储的计算机程序指令，用于基于卷积神经网络生成用于进行图像分辨率处理的初始模型，所述初始模型包括输入层、输出层和中间层；获取训练图像，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像；将所述第一图像的图像数据从所述输入层输入到所述中间层进行卷积计算，并从所述输出层获取所述卷积计算的结果数据，所述结果数据包括N*N通道的通道输出数据，所述N为大于2的正整数；根据所述结果数据和第二图像，对所述初始模型的中间层中的卷积核参数进行参数更新，并根据所述参数更新后的初始模型生成图像处理模型。
18.一种图像处理设备，其特征在于，包括：处理器和存储装置；
所述存储装置，用于存储计算机程序指令；
所述处理器，调用所述存储装置中存储的计算机程序指令，用于获取待处理图像的目标图像数据；通过图像处理模型对所述目标图像数据进行处理，得到包括N*N通道的通道输出数据的结果数据，所述N为大于2的正整数；根据所述结果数据，生成所述待处理图像所对应的提高N倍分辨率的目标图像；所述图像处理模型包括输入层、输出层和中间层，所述中间层中的卷积核参数是基于训练图像进行参数更新后确定的，所述训练图像包括第一图像和第二图像，所述第一图像是对所述第二图像进行N倍降分辨率处理后得到的图像，其中，所述图像处理模型中的中间层是根据所述第二图像和结果数据对中间层中的卷积核参数进行更新后得到的，所述结果数据是更新前的中间层对所述第一图像的图像数据进行卷积计算后得到的包括N*N通道的通道输出数据。
19.一种计算机存储介质，其特征在于，该计算机存储介质中存储有计算机程序指令，该计算机程序指令被执行时，用于实现如权利要求1-9任一项所述的图像处理模型的生成方法，或者用于实现如权利要求10-14任一项所述的图像处理方法。
CN201810285137.4A 2018-04-02 2018-04-02 图像相关处理方法及装置、智能终端、服务器、存储介质 Active CN108259997B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810285137.4A CN108259997B (zh) 2018-04-02 2018-04-02 图像相关处理方法及装置、智能终端、服务器、存储介质
EP19782328.9A EP3748572A4 (en) 2018-04-02 2019-03-19 PROCESS AND APPARATUS FOR PROCESSING RELATED TO IMAGES, DEVICE AND STORAGE MEDIA
PCT/CN2019/078685 WO2019192316A1 (zh) 2018-04-02 2019-03-19 图像相关处理方法及装置、设备、存储介质
US16/928,383 US11836891B2 (en) 2018-04-02 2020-07-14 Image related processing method and apparatus, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810285137.4A CN108259997B (zh) 2018-04-02 2018-04-02 图像相关处理方法及装置、智能终端、服务器、存储介质

Publications (2)

Publication Number Publication Date
CN108259997A CN108259997A (zh) 2018-07-06
CN108259997B true CN108259997B (zh) 2019-08-23

Family

ID=62747887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810285137.4A Active CN108259997B (zh) 2018-04-02 2018-04-02 图像相关处理方法及装置、智能终端、服务器、存储介质

Country Status (4)

Country Link
US (1) US11836891B2 (zh)
EP (1) EP3748572A4 (zh)
CN (1) CN108259997B (zh)
WO (1) WO2019192316A1 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6848071B2 (ja) * 2017-02-24 2021-03-24 ディープマインド テクノロジーズ リミテッド ニューラルネットワークを使用した繰り返しマルチスケール画像生成
CN108259997B (zh) 2018-04-02 2019-08-23 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
JP6876940B2 (ja) * 2018-04-04 2021-05-26 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
KR102077215B1 (ko) * 2018-04-06 2020-02-13 경희대학교 산학협력단 국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법
CN108881739B (zh) * 2018-07-18 2020-01-10 腾讯科技（深圳）有限公司 图像生成方法、装置、终端及存储介质
CN109102463B (zh) * 2018-08-13 2023-01-24 苏州飞搜科技有限公司 一种超分辨率图像重建方法及装置
CN109389045B (zh) * 2018-09-10 2021-03-02 广州杰赛科技股份有限公司 基于混合时空卷积模型的微表情识别方法与装置
CN109242776B (zh) * 2018-09-11 2023-04-07 江苏君英天达人工智能研究院有限公司 一种基于视觉系统的双车道线检测方法
CN110969217B (zh) * 2018-09-28 2023-11-17 杭州海康威视数字技术股份有限公司 基于卷积神经网络进行图像处理的方法和装置
CN110971837B (zh) * 2018-09-30 2021-07-27 Tcl科技集团股份有限公司 基于ConvNets的暗光图像处理方法及终端设备
CN109360153B (zh) * 2018-10-26 2023-05-02 北京金山云网络技术有限公司 图像处理方法、超分辨率模型生成方法、装置及电子设备
CN109413434B (zh) * 2018-11-08 2021-03-09 腾讯科技（深圳）有限公司 图像处理方法、装置、系统、存储介质和计算机设备
CN112913253A (zh) * 2018-11-13 2021-06-04 北京比特大陆科技有限公司 图像处理方法、装置、设备、存储介质及程序产品
CN110147864B (zh) 2018-11-14 2022-02-22 腾讯科技（深圳）有限公司 编码图案的处理方法和装置、存储介质、电子装置
CN109741253A (zh) * 2018-12-12 2019-05-10 深圳慧源创新科技有限公司 无人机图传视频近景远景切换技术
CN110062282A (zh) * 2019-03-18 2019-07-26 北京奇艺世纪科技有限公司 一种超分辨率视频重建方法、装置及电子设备
CN110473137B (zh) * 2019-04-24 2021-09-14 华为技术有限公司 图像处理方法和装置
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110211017B (zh) * 2019-05-15 2023-12-19 北京字节跳动网络技术有限公司 图像处理方法、装置及电子设备
JP7312026B2 (ja) * 2019-06-12 2023-07-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN110390636A (zh) * 2019-06-19 2019-10-29 深圳慧源创新科技有限公司 无人机超、高清图片或视频数据的模拟变焦方法
KR20210020387A (ko) 2019-08-14 2021-02-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US11023783B2 (en) * 2019-09-11 2021-06-01 International Business Machines Corporation Network architecture search with global optimization
US10943353B1 (en) 2019-09-11 2021-03-09 International Business Machines Corporation Handling untrainable conditions in a network architecture search
EP4028984A4 (en) * 2019-09-11 2023-01-11 The State of Israel, Ministry of Agriculture & Rural Development, Agricultural Research Organization (ARO) (Volcani Center) SUPER-RESOLUTION METHODS AND SYSTEMS FOR INFRARED IMAGING
CN112733585B (zh) * 2019-10-29 2023-09-05 杭州海康威视数字技术股份有限公司 图像识别方法
CN110827200B (zh) * 2019-11-04 2023-04-07 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及移动终端
CN110703223B (zh) * 2019-11-07 2023-06-30 上海禾赛科技有限公司 应用于激光雷达的调节方法和电子设备
CN110880160B (zh) * 2019-11-14 2023-04-18 Oppo广东移动通信有限公司 图片帧超分方法、装置、终端设备及计算机可读存储介质
US11544815B2 (en) 2019-11-18 2023-01-03 Advanced Micro Devices, Inc. Gaming super resolution
CN110868625A (zh) * 2019-11-22 2020-03-06 北京金山云网络技术有限公司 一种视频播放方法、装置、电子设备及存储介质
CN110889809B9 (zh) * 2019-11-28 2023-06-23 RealMe重庆移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN111027635B (zh) * 2019-12-12 2023-10-31 深圳前海微众银行股份有限公司 图像处理模型的构建方法、装置、终端及可读存储介质
CN113052756A (zh) * 2019-12-27 2021-06-29 武汉Tcl集团工业研究院有限公司 一种图像处理方法、智能终端及存储介质
CN113254680B (zh) * 2020-02-10 2023-07-25 北京百度网讯科技有限公司 多媒体信息的封面图处理方法、客户端和电子设备
CN111353581B (zh) * 2020-02-12 2024-01-26 北京百度网讯科技有限公司 轻量模型获取方法、装置、电子设备及存储介质
CN111428732B (zh) * 2020-03-03 2023-10-17 平安科技（深圳）有限公司 Yuv图像识别方法、系统和计算机设备
CN111445392B (zh) * 2020-03-20 2023-09-15 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
CN111508038A (zh) * 2020-04-17 2020-08-07 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111581408A (zh) * 2020-04-27 2020-08-25 北京电信易通信息技术股份有限公司 一种基于超分辨率的图片存储方法及系统
US20210357730A1 (en) * 2020-05-12 2021-11-18 Alibaba Group Holding Limited Multi-size convolutional layer background
CN111753770A (zh) * 2020-06-29 2020-10-09 北京百度网讯科技有限公司 人物属性识别方法、装置、电子设备和存储介质
CN114071188A (zh) * 2020-08-04 2022-02-18 中国电信股份有限公司 处理视频数据的方法、装置及计算机可读存储介质
US11300652B1 (en) * 2020-10-30 2022-04-12 Rebellion Defense, Inc. Systems and methods for generating images from synthetic aperture radar data using neural networks
CN112561877B (zh) * 2020-12-14 2024-03-29 中国科学院深圳先进技术研究院 多尺度双通道卷积模型训练方法、图像处理方法及装置
CN112686888A (zh) * 2021-01-27 2021-04-20 上海电气集团股份有限公司 混凝土轨枕裂纹的检测方法、系统、设备和介质
CN114827666A (zh) * 2021-01-27 2022-07-29 阿里巴巴集团控股有限公司 视频处理方法、装置及设备
CN114845152B (zh) * 2021-02-01 2023-06-30 腾讯科技（深圳）有限公司 播放控件的显示方法、装置、电子设备及存储介质
CN113128670B (zh) * 2021-04-09 2024-03-19 南京大学 一种神经网络模型的优化方法及装置
CN113240583B (zh) * 2021-04-13 2022-09-16 浙江大学 一种基于卷积核预测的图像超分辨方法
CN113222824B (zh) * 2021-06-03 2022-08-30 北京理工大学 一种红外图像超分辨率及小目标检测方法
CN113378858A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 图像检测方法、装置、设备、车辆和介质
CN114025106A (zh) * 2021-12-16 2022-02-08 海宁奕斯伟集成电路设计有限公司 智能处理器、图像智能处理系统、方法及存储介质
CN114422802B (zh) * 2022-03-28 2022-08-09 浙江智慧视频安防创新中心有限公司 一种基于码本的自编码机图像压缩方法
CN115147279B (zh) * 2022-07-05 2023-04-07 南京林业大学 基于选择性通道处理机制的轻量级遥感图像超分辨率方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
WO2017150204A1 (en) * 2016-03-03 2017-09-08 Mitsubishi Electric Corporation Computer system and method for upsampling image
CN107220934A (zh) * 2017-05-15 2017-09-29 北京小米移动软件有限公司 图像重建方法及装置
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN107578377A (zh) * 2017-08-31 2018-01-12 北京飞搜科技有限公司 一种基于深度学习的超分辨率图像重建方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237297B1 (en) * 2010-12-06 2016-01-12 Kenneth M. Waddell Jump view interactive video system
US9552438B2 (en) * 2013-05-17 2017-01-24 Paypal, Inc. Systems and methods for responsive web page delivery based on network bandwidth
US9212851B2 (en) * 2014-02-10 2015-12-15 Honeywell International Inc. Multi resolution, hierarchical radiance field estimation
CN105744357B (zh) * 2016-02-29 2019-03-01 哈尔滨超凡视觉科技有限公司 一种基于在线分辨率提升的降低网络视频带宽占用方法
CN105898565A (zh) * 2016-04-28 2016-08-24 乐视控股（北京）有限公司 一种视频处理方法及设备
CN108259997B (zh) * 2018-04-02 2019-08-23 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017150204A1 (en) * 2016-03-03 2017-09-08 Mitsubishi Electric Corporation Computer system and method for upsampling image
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN107220934A (zh) * 2017-05-15 2017-09-29 北京小米移动软件有限公司 图像重建方法及装置
CN107578377A (zh) * 2017-08-31 2018-01-12 北京飞搜科技有限公司 一种基于深度学习的超分辨率图像重建方法及系统

Also Published As

Publication number Publication date
WO2019192316A1 (zh) 2019-10-10
EP3748572A4 (en) 2021-04-14
CN108259997A (zh) 2018-07-06
EP3748572A1 (en) 2020-12-09
US20200342572A1 (en) 2020-10-29
US11836891B2 (en) 2023-12-05

Similar Documents

Publication Publication Date Title
CN108259997B (zh) 图像相关处理方法及装置、智能终端、服务器、存储介质
CN105069825B (zh) 基于深度置信网络的图像超分辨率重建方法
CN111479112B (zh) 一种视频编码方法、装置、设备和存储介质
TW320806B (zh)
CN104219524B (zh) 使用感兴趣对象的数据对视频成码的比特率控制
CN106778928A (zh) 图像处理方法及装置
CN106097251B (zh) 非均匀稀疏采样视频超分辨率方法
CN110598781A (zh) 图像处理方法、装置、电子设备及存储介质
CN110222758A (zh) 一种图像处理方法、装置、设备及存储介质
CN110060204B (zh) 一种基于可逆网络的单一图像超分辨率方法
CN107767380A (zh) 一种基于全局空洞卷积的高分辨率复合视野皮肤镜图像分割方法
CN109544482A (zh) 一种卷积神经网络模型生成方法及图像增强方法
CN108805808A (zh) 一种利用卷积神经网络提高视频分辨率的方法
CN108875900A (zh) 视频图像处理方法和装置、神经网络训练方法、存储介质
CN111242846A (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN109525859A (zh) 模型训练、图像发送、图像处理方法及相关装置设备
CN109996023A (zh) 图像处理方法和装置
CN110136055A (zh) 图像的超分辨率方法和装置、存储介质、电子装置
CN112767252B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN112258269A (zh) 基于2d图像的虚拟试衣方法及装置
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
CN107027030A (zh) 一种码率分配方法及其设备
JP2022525552A (ja) 高分解能なリアルタイムでのアーティスティックスタイル転送パイプライン
CN115061617A (zh) 直播画面的处理方法、装置、计算机设备和存储介质
CN110211017A (zh) 图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210929

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.