CN111328448B - 图像处理的方法和设备 - Google Patents

图像处理的方法和设备 Download PDF

Info

Publication number
CN111328448B
CN111328448B CN201780096739.9A CN201780096739A CN111328448B CN 111328448 B CN111328448 B CN 111328448B CN 201780096739 A CN201780096739 A CN 201780096739A CN 111328448 B CN111328448 B CN 111328448B
Authority
CN
China
Prior art keywords
image
neural network
convolutional neural
network model
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780096739.9A
Other languages
English (en)
Other versions
CN111328448A (zh
Inventor
张运超
陈帅
贾志平
苗磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111328448A publication Critical patent/CN111328448A/zh
Application granted granted Critical
Publication of CN111328448B publication Critical patent/CN111328448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种图像处理的方法和设备。本申请的图像处理的方法，由具有数码变焦功能的终端执行，所述方法包括：根据用户的选择输入确定目标变焦倍率，采集待处理图像；使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理，以得到与所述目标变焦倍率对应的处理后的图像；其中，所述目标超分辨率卷积神经网络模型为使用高清训练图像、低清训练图像以及蒙版图像对超分辨率卷积神经网络模型进行训练获取的。本申请实施例可以克服传统数码变焦引入的清晰度下降以及噪点放大等图像质量下降问题。

Description

图像处理的方法和设备
技术领域
本申请实施例涉及图像处理技术，尤其涉及一种图像处理的方法和设备。
背景技术
图像超分辨率(Super-Resolution)是指通过硬件或软件的方法提升原有图像的分辨率，其中，常用的软件超分辨率方法包括传统的基于非学习的线性插值算法以及基于深度神经网络学习的超分辨率插值算法。
随着深度神经网络的不断发展，基于深度神经网络学习的超分辨率插值算法得到了广泛应用。基于深度神经网络学习的超分辨率插值算法通常包括训练数据的采集、神经网络模型的训练、以及测试数据前向计算等过程。其中，训练数据包括高清训练数据和低清训练数据，低清训练数据的采集是采用对高清训练数据下采样的方式获取低清训练数据，将利用该高清训练数据和低清训练数据训练得到的神经网络模型直接应用到移动终端的数码变焦上。
然而，移动终端的相机在实际拍摄过程中不可避免会有很多噪点，特别是一些平坦的表面，使用上述低清训练数据采集的具体实现方式，会使得图像噪点被放大，将利用该低清训练数据训练得到的神经网络模型应用于移动终端时，会造成移动终端输出的变焦后的图像的清晰度较低，图像的质量差。
发明内容
本申请实施例提供一种图像处理的方法和设备，以克服传统数码变焦引入的清晰度下降以及噪点放大等图像质量下降问题。
第一方面，本申请实施例提供一种图像处理的方法，由具有数码变焦功能的终端执行，所述方法包括：启动所述终端的拍照功能；启动所述终端的变焦功能；接收用户的选择输入；根据用户的选择输入确定目标变焦倍率，采集待处理图像；使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理，以得到与所述目标变焦倍率对应的处理后的图像；其中，所述目标超分辨率卷积神经网络模型为使用高清训练图像、低清训练图像以及蒙版图像对超分辨率卷积神经网络模型进行训练获取的；显示所述处理后的图像。
本实现方式，通过目标超分辨率卷积神经网络模型对待处理图像进行处理，输出处理后的图像，由于该目标超分辨率卷积神经网络模型是根据高清训练图像、低清训练图像以及蒙版图像不断学习，进行模型调整得到的，所以可以提升模型应用设备输出的变焦后的图像的清晰度，以克服传统数码变焦引入的清晰度下降以及噪点放大等图像质量下降问题。
结合第一方面，在第一方面的一种可能的实现方式中，所述终端存储有至少一个单倍率的目标超分辨率卷积神经网络模型，所述使用目标超分辨率卷积神经网络模型对所述输入图像进行处理，输出处理后的图像，包括：判断所述至少一个单倍率的目标超分辨率卷积神经网络模型中是否存在与所述目标变焦倍率相等倍率的目标超分辨率卷积神经网络模型；若是，使用与所述目标变焦倍率相等倍率的目标超分辨率卷积神经网络模型对所述待处理图像进行处理，输出处理后的图像；若否，使用Y倍率的目标超分辨率卷积神经网络模型对所述待处理图像进行处理，获取中间结果，使用线性插值算法对所述中间结果进行X-Y倍变焦，输出处理后的图像，其中，X为所述目标变焦倍率，Y为所述多个单倍率中小于X的最大的变焦倍率。
本实现方式，所述终端存储有至少一个单倍率的目标超分辨率卷积神经网络模型时，通过选择与目标变焦倍率相等或相近的单倍率的目标超分辨率卷积神经网络模型对待处理图像进行处理，可以提升输出的变焦后的图像的清晰度，以克服传统数码变焦引入的清晰度下降以及噪点放大等图像质量下降问题。
结合第一方面或者第一方面的一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述终端存储有多倍率的目标超分辨率卷积神经网络模型，所述使用目标超分辨率卷积神经网络模型对所述输入图像进行处理，输出处理后的图像，包括：判断所述多倍率是否包括所述目标变焦倍率；若是，将所述待处理图像输入所述目标超分辨率卷积神经网络模型，使用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处理，输出处理后的图像；若否，使用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处理，获取中间结果，使用线性插值算法对所述中间结果进行X-Z倍变焦，输出处理后的图像，其中，X为所述目标变焦倍率，Z为所述多倍率中小于X的最大的变焦倍率。
本实现方式，所述终端存储有多倍率的目标超分辨率卷积神经网络模型时，通过多倍率的目标超分辨率卷积神经网络模型、结合线性插值算法对待处理图像进行处理，可以提升输出的变焦后的图像的清晰度，以克服传统数码变焦引入的清晰度下降以及噪点放大等图像质量下降问题。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述方法还包括：针对同一场景拍摄的所述高清训练图像和所述低清训练图像，通过图像配准算法构建训练图像对；按照预设规则提取所述高清训练图像中的感兴趣区域，将所述感兴趣区域和所述高清训练图像中的其余区域分别赋以不同权值，生成与所述高清训练图像相同尺寸的所述蒙版图像；将所述高清训练图像、所述低清训练图像和所述蒙版图像输入超分辨率卷积神经网络模型，根据所述蒙版图像中存储的不同权值分区域计算损失代价结果，根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型。
本实现方式，在学习过程中，由于蒙版图像的输入，使得感兴趣区域权值较高，对损失代价结果影响较大，可以提升感兴趣区域的学习率，降低其他区域的学习率，从而可以有效提升所获得的目标超分辨率卷积神经网络模型的图像处理的效果。将该目标超分辨率卷积神经网络模型应用于模型应用设备中，可以提升模型应用设备输出的变焦后的图像的清晰度。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型，包括：判断所述损失代价结果是否满足预设条件，若不满足，则调整所述超分辨率卷积神经网络模型，直至调整后的超分辨率卷积神经网络模型满足所述预设条件，得到所述目标超分辨率卷积神经网络模型；若满足，则将所述超分辨率卷积神经网络模型作为所述目标超分辨率卷积神经网络模型。
本实现方式，根据损失代价结果调整超分辨率卷积神经网络模型，从而可以有效提升所获得的目标超分辨率卷积神经网络模型的图像处理的效果。
结合第一方面或者第一方面的任一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述按照预设规则提取所述高清训练图像中的感兴趣区域，包括：利用高频提取算法提取所述高清训练图像中的高频信息，将高频信息作为所述感兴趣区域；或者，利用人脸检测算法提取所述高清训练图像中的人脸信息，将人脸信息作为所述感兴趣区域；或者，利用图像分割算法提取不同的物体作为所述感兴趣区域。
本实现方式，将高频信息所在区域(如图像边缘)作为感兴趣区域，通过模型训练过程可以使得高频信息所在区域(如图像边缘)的学习率增加，从而使得目标超分辨率卷积神经网络模型的输出图像边缘更加锐利，用户主观感受好，而通过模型训练过程可以使得低频信息所在区域(平坦区域、噪点等)的学习率增加，从而使得目标超分辨率卷积神经网络模型的输出图像不会有较明显的噪点放大，实现噪点均衡。
结合第一方面或者第一方面的一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述方法还包括：接收用户通过相机操作界面或者在硬件拍照按钮上输入的拍照命令，响应于所述拍照指令，将所述处理后的图像保存至所述终端的存储器中。
本实现方式，可以根据用于输入的拍照命令，将所述处理后的图像保存至所述终端的存储器中，以满足用户使用需求。
结合第一方面或者第一方面的一种可能的实现方式，在第一方面的另一种可能的实现方式中，所述使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理，包括：当所述目标变焦倍率大于所述终端的最大光学变焦倍率时，使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理。
本实现方式，可以判断目标变焦倍率是否大于终端的最大光学变焦倍率，当目标变焦倍率大于所述终端的最大光学变焦倍率时，则使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理，从而实现终端在数码变焦时，使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理。
第二方面，本申请实施例提供一种图像处理的方法，包括：针对同一场景拍摄高清训练图像和低清训练图像；按照预设规则提取所述高清训练图像中的感兴趣区域，将所述感兴趣区域和所述高清训练图像中的其余区域分别赋以不同权值，生成与所述高清训练图像相同尺寸的蒙版图像；使用所述高清训练图像、所述低清训练图像以及所述蒙版图像对超分辨率卷积神经网络模型进行训练生成目标超分辨率卷积神经网络模型。
本实现方式，使用高清训练图像、低清训练图像以及蒙版图像输入训练超分辨率卷积神经网络模型，使得超分辨率卷积神经网络模型可以根据高清训练图像、低清训练图像以及蒙版图像不断学习，进行模型调整，获取目标超分辨率卷积神经网络模型，在学习过程中，由于蒙版图像的输入，使得感兴趣区域权值较高，对损失代价结果影响较大，可以提升感兴趣区域的学习率，降低其他区域的学习率，从而可以有效提升所获得的目标超分辨率卷积神经网络模型的图像处理的效果。将该目标超分辨率卷积神经网络模型应用于模型应用设备中，可以提升模型应用设备输出的变焦后的图像的清晰度。
结合第二方面，在第二方面的一种可能的实现方式中，所述按照预设规则提取所述高清训练图像中的感兴趣区域，包括：利用高频提取算法提取高清训练图像中的高频信息，将高频信息作为感兴趣区域；或者，利用人脸检测算法提取高清训练图像中的人脸信息，将人脸信息作为感兴趣区域；或者，利用图像分割算法提取不同的物体作为不同的感兴趣区域。
结合第二方面或者第二方面的一种可能的实现方式，在第二方面的另一种可能的实现方式中，所述使用所述高清训练图像、所述低清训练图像以及蒙版图像对超分辨率卷积神经网络模型进行训练生成目标超分辨率卷积神经网络模型，包括：将所述高清训练图像、所述低清训练图像和所述蒙版图像输入超分辨率卷积神经网络模型，根据所述蒙版图像中存储的不同权值分区域计算损失代价结果，根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型。
结合第二方面或者第二方面的任一种可能的实现方式，在第二方面的另一种可能的实现方式中，所述将所述高清训练图像、所述低清训练图像和所述蒙版图像输入超分辨率卷积神经网络模型，根据所述蒙版图像中存储的不同权值分区域计算损失代价结果，根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型，包括：使用超分辨率卷积神经网络模型对所述低清训练图像进行处理，获取网络输出的高清图像；将所述高清训练图像、所述网络输出的高清图像以及所述蒙版图像进行运算，计算损失代价结果；根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型。
结合第二方面或者第二方面的任一种可能的实现方式，在第二方面的另一种可能的实现方式中，所述根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型，包括：判断所述损失代价结果是否满足预设条件，若不满足，则调整所述超分辨率卷积神经网络模型，直至调整后的超分辨率卷积神经网络模型满足所述预设条件，得到所述目标超分辨率卷积神经网络模型；若满足，则将所述超分辨率卷积神经网络模型作为所述目标超分辨率卷积神经网络模型。
结合第二方面或者第二方面的任一种可能的实现方式，在第二方面的另一种可能的实现方式中，所述将所述高清训练图像、所述网络输出的高清图像以及所述蒙版图像进行运算，计算损失代价结果，包括：
根据公式
Figure GPA0000288608090000061
获取损失代价结果；
其中，LOSS为损失代价结果，L为像素数，ymask为蒙版图像的权值，
Figure GPA0000288608090000062
为高清训练图像的像素点的灰度值或亮度值，ynn_hr为网络输出的高清图像的灰度值或亮度值。
结合第二方面或者第二方面的任一种可能的实现方式，在第二方面的另一种可能的实现方式中，所述方法还包括：
使用图像配准算法对所述高清训练图像和所述低清训练图像进行配准，建立所述高清训练图像和所述低清训练图像的一一对应关系。
第三方面，本申请实施例提供一种终端，包括：显示器、摄像头、处理器和存储器；
其中，所述摄像头用于拍摄图像，所述存储器用于存储计算机可执行程序代码，所述程序代码包括指令；当所述处理器执行所述指令时，所述指令使所述终端执行如第一方面任一种可能的实现方式所述的图像处理方法。
第四方面，本申请实施例提供一种训练服务器，包括：处理器和存储器；
其中，所述存储器用于存储计算机可执行程序代码，所述程序代码包括指令；当所述处理器执行所述指令时，所述指令使所述训练服务器执行如第二方面任一种可能的实现方式所述的图像处理方法。
第五方面，本申请实施例提供一种计算机存储介质，其上存储有计算机程序或指令，当所述计算机程序或指令被处理器或计算机执行时，实现如第一方面或第二方面任一种可能的实现方式所述的图像处理方法。
本申请实施例的图像处理的方法和设备，通过目标超分辨率卷积神经网络模型对待处理图像进行处理，输出处理后的图像，由于该目标超分辨率卷积神经网络模型是根据高清训练图像、低清训练图像以及蒙版图像不断学习，进行模型调整得到的，所以可以提升模型应用设备输出的变焦后的图像的清晰度，以克服传统数码变焦引入的清晰度下降以及噪点放大等图像质量下降问题。
附图说明
下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。
图1为本申请的一种应用场景示意图；
图2为本申请的一种图像采集设备的结构示意图；
图3为本申请的一种训练服务器的结构示意图；
图4为本申请的超分辨率卷积神经网络模型的训练方法的流程图；
图5为本申请的模型训练过程示意图；
图6为本申请的一个图像对的示意图；
图7为本申请的模型应用设备的输入图像和输出图像的对比示意图。
具体实施方式
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解：
终端：可以是无线终端也可以是有线终端，无线终端可以是指向用户提供语音和/或其他业务数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信，无线终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。例如，个人通信业务(Personal CommunicationService，PCS)电话、无绳电话、会话发起协议(Session Initiation Protocol，SIP)话机、无线本地环路(Wireless Local Loop，WLL)站、个人数字助理(Personal DigitalAssistant，PDA)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站(Subscriber Station)，移动站(Mobile Station)、移动台(Mobile)、远程站(RemoteStation)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(UserTerminal)、用户代理(User Agent)、用户设备(User Device or User Equipment)，在此不作限定。
终端的摄像头可以是终端的前置摄像头，也可以是终端的后置摄像头。
图像采集设备，可以是用于采集训练图像的终端，该图像采集设备包括一个前置摄像头和/或后置摄像头。当图像采集设备处于操作模式，如拍摄模式时，前置摄像头和/或后置摄像头可以进行拍摄，从而获取训练图像。每个前置摄像头和后置摄像头可以是一个具有数码变焦能力的但焦距固定的光学透镜系统，或具有光学变焦能力的光学变焦系统。其中，训练图像的具体采集过程可以参见下述实施例的具体说明。
训练服务器，可以使用图像采集设备采集的训练图像对超分辨率卷积神经网络模型进行训练，该训练服务器的构成包括处理器、硬盘、内存、系统总线等。本申请所涉及的超分辨率卷积神经网络模型具体指用于实现超分辨率的卷积神经网络模型，实现超分辨率具体指提高原有图像的分辨率。
模型应用设备，可以是存储有超分辨率卷积神经网络模型的终端，该超分辨率卷积神经网络模型可以是上述训练服务器进行训练得到的，模型应用设备具体可以是上述任一种具体的终端。
模型，本申请所涉及的模型具体指数据挖掘模型，例如神经网络模型，该神经网络模型可以为卷积神经网络模型等，本申请实施例以上述超分辨率卷积神经网络模型为例做举例说明，本申请不以此作为限制。该超分辨率卷积神经网络模型包括多个卷积层和全连接层，其中，权值参数和偏置参数用于表示该超分辨率卷积神经网络模型。不同的超分辨率卷积神经网络模型的权值参数和偏置参数不同，其处理性能也不尽相同。
超分辨率卷积神经网络模型的训练过程，具体指通过对训练数据的学习，调整该模型的权值参数和偏置参数，使得该神经网络模型的输出尽可能的接近目标值，例如该目标值为下述的高清训练图像。
需要说明的是，本申请的超分辨率卷积神经网络模型可以参见现有技术的超分辨率卷积神经网络模型，本申请与现有技术不同之处在于对超分辨率卷积神经网络模型进行如下述实施例的训练，得到目标超分辨率卷积神经网络模型。本申请实施例的“调整超分辨率卷积神经网络模型”即指调整权值参数和偏置参数。
训练图像，可以分为高清训练图像和低清训练图像，高清训练图像是图像采集设备处于近距离小倍率变焦得到的，低清训练图像是图像采集设备处于远距离大倍率变焦得到的，其中距离的远近、变焦倍率的大小均为二者相对而言，例如1米距离1倍变焦的采集图像可以作为高清训练图像，2米距离2倍变焦的采集图像可以作为低清训练图像，又如，1米距离1倍变焦的采集图像可以作为高清训练图像，则N米距离N倍变焦的采集图像可以作为低清训练图像。其中，N的取值范围与图像采集设备的最大光学变焦倍率有关，具体的，N为大于图像采集设备的最大光学变焦倍率的任意数，由此可见，低清训练图像为图像采集设备处于数码变焦时采集的图像。举例而言，图像采集设备的最大光学变焦倍率为2，则上述N的取值范围为N＞2。需要说明的是，N可以是整数，也可以是小数，具体可以根据需求进行灵活选取。还需要说明的是，若图像采集设备不具备光学变焦能力，则该图像采集设备的最大光学变焦倍率可以认为是1。
变焦倍率，通常是指携带有光学变焦镜头的图像采集设备通过调整焦点距离而使成像视角范围对应发生变化的变化量。同样的，在不含有光学变焦镜头的图像采集设备中，变焦倍率通常是指使用图像插值等数码变焦方法将采集的图像进行对应倍率的图像尺寸放大。即变焦倍率可以分为光学变焦倍率和数码变焦倍率，其中，高清训练图像的变焦倍率是指光学变焦倍率，而低清训练图像的变焦倍率是指数码变焦倍率。
训练数据，包括一组或多组训练图像，每一组训练图像为对同一个场景在不同拍摄条件下拍照获取的，训练数据是指数据挖掘过程中用于训练数据挖掘模型的数据，在本申请实施例中，训练数据用于训练超分辨率卷积神经网络模型。该拍摄条件具体指拍摄距离和变焦倍率，拍摄距离具体指图像采集设备与该场景中的一个目标物之间的距离，满足拍摄距离的条件具体指拍摄距离等于1米、2米、......、N米，满足变焦倍率的条件具体指变焦倍率等于1、2、......、N。其中，N为大于图像采集设备的最大光学变焦倍率的任意数。其中，训练数据的具体构建过程可以参见下述实施例的具体说明。
场景，本申请所涉及的场景具体指拍摄场景，即使用本申请的图像采集设备对场景进行拍摄，以采集训练图像。同一场景的训练图像可以组成一组训练图像。
本申请中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1为本申请的一种应用场景示意图，如图1所示，该应用场景包括图像采集设备、训练服务器和模型应用设备。本申请的图像处理方法包括：图像采集阶段使用图像采集设备采集高清训练图像和低清训练图像，训练阶段使用图像采集设备采集的高清训练图像、低清训练图像以及蒙版学习训练方法对超分辨率卷积神经网络模型进行训练，得到目标超分辨率卷积神经网络模型。将该目标超分辨率卷积神经网络模型存储于模型应用设备，模型应用设备开启相机变焦功能采集图像，使用该目标超分辨率卷积神经网络模型对采集到的图像进行处理，输出处理后的图像，其中，开启相机变焦功能采集图像具体指相机在一个数码变焦倍率下采集图像，该数码变焦倍率可以是大于2的任意数。
可以理解，上述的图像采集设备、训练服务器和模型应用设备可以是三个分离的设备，上述的图像采集设备、训练服务器和模型应用设备可以是一个终端，上述的图像采集设备、训练服务器也可以是一个终端，上述的训练服务器和模型应用设备也可以是一个终端，本申请对此不作限制。
由此，需要说明的是，本申请模型应用设备所涉及的变焦倍率通常指数码变焦倍率。
下面，分别对图像采集和训练模型的具体实施过程进行解释说明。
(1)图像采集
图2为本申请的一种图像采集设备的结构示意图，如图2所示，图像采集设备200可以包括以下一个或多个组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，输入/输出(I/O)的接口212，传感器组件214，以及通信组件216。
处理组件202通常控制图像采集设备200的整体操作，诸如显示，电话呼叫，数据通信，相机操作和记录操作等操作。其中，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
多媒体组件208可以包括触控显示屏。在一些实施例中，触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。多媒体组件208还可以包括一个前置摄像头和/或后置摄像头。当图像采集设备200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以拍摄多媒体数据。每个前置摄像头和后置摄像头可以是一个仅具有数码变焦能力但光学焦距固定的光学透镜系统，或具有光学变焦能力的光学变焦系统。
存储器204可以存储各种类型的数据以支持在图像采集设备200的操作。这些数据的示例包括用于在图像采集设备200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请的图像采集过程具体可以为，图像采集设备200通过前置摄像头和/或后置摄像头对一个场景进行拍照，将拍照获取的图像存入存储器中，然后将拍照获取的图像通过通信组件216发送给训练服务器。其中，图像的格式可以是bmp格式、jpg格式、或者JPEG格式等，具体的格式可以根据需求进行灵活设置。
图像采集设备200可以使用光学变焦采集高清训练图像，可以使用数码变焦采集低清训练图像。
一种实现方式中，图像采集设备200具备数码变焦能力，不具备光学变焦能力，该图像采集设备200处于1米距离1倍光学变焦采集高清训练图像，即将1米距离1倍光学变焦的采集图像作为高清训练图像；该图像采集设备200使用该图像采集设备的数码变焦能力采集低清训练图像，例如，该图像采集设备处于2米距离2倍数码变焦采集低清训练图像，即将2米距离2倍数码变焦的采集图像作为低清训练图像。
另一种实现方式中，图像采集设备200具备数码变焦能力，也具备光学变焦能力(例如，最高为2倍光学变焦)，该图像采集设备200可以处于1米距离1倍光学变焦采集高清训练图像，即将1米距离1倍光学变焦的采集图像作为高清训练图像，该图像采集设备200也可以处于2米距离2倍光学变焦采集高清训练图像，即将2米距离2倍光学变焦的采集图像作为高清训练图像，其可以根据需求进行灵活设置；该图像采集设备200使用该图像采集设备的数码变焦能力采集低清训练图像，例如，该图像采集设备处于N米距离N倍数码变焦采集低清训练图像，即将N米距离N倍数码变焦的采集图像作为低清训练图像。
上述图像采集设备200具备数码变焦能力，也具备光学变焦能力(例如，最高为2倍光学变焦)时，2米距离2倍光学变焦的采集图像与1米距离1倍变焦的采集图像的清晰度相同，也可称之为成像质量相同。
作为一种可实现方式，图像采集设备200可以根据训练需求确定拍摄条件，并在图像采集设备200满足该拍摄条件时，采集训练图像。
其中，训练需求具体指，经过超分辨率卷积神经网络模型的训练过程后，需要获取的超分辨率卷积神经网络模型的类型。其中，超分辨率卷积神经网络模型的类型分为单倍率和多倍率。单倍率是指单个模型支持一种变焦倍率图像放大，多倍率是指单个模型同时支持多种变焦倍率图像放大。
示例性的，需要获取的超分辨率卷积神经网络模型的类型为单倍率，以倍率为N(N的取值范围具体可以参见上述说明，此处不再赘述)做举例说明，则图像采集设备200确定两个拍摄条件，一个为拍摄距离等于1米和光学变焦倍率等于1，另一个为拍摄距离等于N米和数码变焦倍率等于N，图像采集设备200在满足上述两个拍摄条件时进行拍摄，获取训练图像，其中，拍摄距离等于1米和光学变焦倍率等于1的图像作为高清训练图像，拍摄距离等于N米和数码变焦倍率等于N的图像作为低清训练图像。
示例性的，需要获取的超分辨率卷积神经网络模型的类型为多倍率，多倍率包括m个变焦倍率{N1，N2，......，Nm}，m为大于1的正整数，m个变焦倍率中的每一个的取值范围与N相同，不用的变焦倍率取值不同，例如N1＝3、N2＝5等，则图像采集设备200确定m+1个拍摄条件，分别为：拍摄距离等于1米和光学变焦倍率等于1、拍摄距离等于N1米和数码变焦倍率等于N1、拍摄距离等于N2米和数码变焦倍率等于N2、......、拍摄距离等于Nm米和数码变焦倍率等于Nm。图像采集设备200在满足上述m+1个拍摄条件时进行拍摄，获取训练图像，其中，拍摄距离等于1米和光学变焦倍率等于1的图像作为高清训练图像，剩余其他的图像均为低清训练图像。
可以理解的，图像采集设备200可以保存拍摄距离和拍摄时的变焦倍率，例如，在拍摄获取的图像的属性信息中写入拍摄距离和变焦倍率。
还需要说明的是，图像采集设备200可以使用现有技术的测距方式确定实际拍摄距离，使得图像采集设备200在实际拍摄距离满足拍摄条件的拍摄距离时进行拍摄。其中，该现有技术的测距方式可以是激光测距、声波测距等。
其中，以多倍率包括m个变焦倍率{N1，N2，......，Nm}做进一步举例说明，图像采集设备200在一场景中，对同一目标物，沿目标物径向方向移动，分别采集拍摄距离等于1米和光学变焦倍率等于1、拍摄距离等于N1米和数码变焦倍率等于N1、拍摄距离等于N2米和数码变焦倍率等于N2、......、拍摄距离等于Nm米和数码变焦倍率等于Nm的图像。
上述图像采集设备200进行图像采集均是指对一个场景在不同拍摄条件时进行拍摄，获取训练图像。
需要说明的是，图像采集设备200也可以对多个场景以上述拍摄条件进行拍摄，以采集训练图像。同一场景的训练图像可以组成一组训练图像。
可以理解的，图像采集设备200还可以保存场景标识，例如，在拍摄获取的图像的属性信息中写入场景标识，该场景标识用于标识拍摄场景。
示例性的，上述训练需求还可以包括模型应用设备的功能，图像采集设备200拍摄获取的图像的内容可以包括文字、风景、人物等，一种可实现方式，在图像采集阶段获取的图像的内容与模型应用设备的功能相关，举例而言，该模型应用设备是智能手机，那么图像采集阶段可以对文字、风景、人物等各种场景进行拍摄，获取图像，该图像的内容包括文字、风景、人物等，该模型应用设备是交通摄像设备，那么图像采集阶段可以对汽车、车牌等场景进行拍摄，获取图像，该图像的内容包括汽车、车牌等。
需要说明的是，上述电源组件206为图像采集设备200的各种组件提供电力。电源组件206可以包括电源管理系统，一个或多个电源，及其他与为图像采集设备200生成、管理和分配电力相关联的组件。音频组件210可以为输出和/或输入音频信号。I/O接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，触摸屏，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。传感器组件214包括一个或多个传感器，用于为图像采集设备200提供各个方面的状态评估。通信组件216被配置为便于图像采集设备200和其他设备之间有线或无线方式的通信。图像采集设备200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
(2)选取训练数据
图3为本申请的一种训练服务器的结构示意图，如图3所示，训练服务器300可以包括以下一个或多个组件：处理器301，存储器302、接收器303、发送器304。
所述接收器303、所述发送器304可以包括混频器等必要的射频通信器件。所述接收器303和所述发送器304也可以是收发器。所述处理器301可以包括中央处理单元(Central Processing Unit，CPU)、数字信号处理器(digital signal processor，DSP)、微控制器(Microcontroller Unit，MCU)、专用集成电路(Application Specific IntegratedCircuit，ASIC)或现场可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)中的至少一个。该存储器302用于存储程序指令，处理器301用于调用存储器302中的程序指令执行相应操作。所述程序指令可以以软件功能单元的形式实现并能够作为独立的产品销售或使用，所述存储器302可以是任意形式的计算机可读取存储介质。
在本申请实施例中，接收器303可以接收图像采集设备200发送的图像，处理器301根据接收到的图像选取训练数据。
以需要获取的超分辨率卷积神经网络模型的类型为单倍率为例做进一步举例说明，图像采集设备200的处理器301将拍摄距离等于1米和光学变焦倍率等于1的图像和拍摄距离等于N米和数码变焦倍率等于N的图像，作为训练数据，即该训练数据包括2个图像，其中拍摄距离等于1米和变焦倍率等于1的图像为高清训练图像，拍摄距离等于N米和变焦倍率等于N的图像为低清训练图像。对应于具体训练需求，需要对应数码变焦倍率的图像，与1米距离1倍变焦的图像构成图像对，该图像对即为训练数据。
再例如，以需要获取的超分辨率卷积神经网络模型的类型为多倍率，多倍率包括3、5和7为例做举例说明，则图像采集设备200的处理器301将拍摄距离等于1米和光学变焦倍率等于1的图像、拍摄距离等于3米和数码变焦倍率等于3的图像、拍摄距离等于5米和数码变焦倍率等于5的图像、拍摄距离等于7米和数码变焦倍率等于7的图像，作为训练数据，即该训练数据包括4个图像。其中该训练数据中，拍摄距离等于1米和光学变焦倍率等于1的图像为高清训练图像，剩余其他的图像均为低清训练图像。
选取的训练数据可以包括一组或多组训练图像，每一组训练图像为对同一个场景在不同拍摄条件下拍照获取的，在本申请实施例中，使用训练数据训练超分辨率卷积神经网络模型，其中，可以使用多组训练图像对一个超分辨率卷积神经网络模型，训练模型的具体过程可以参见下述实施例的解释说明。
(3)训练模型
图4为本申请的超分辨率卷积神经网络模型的训练方法的流程图，图5为本申请的模型训练过程示意图，图6为本申请的一个图像对的示意图，本实施例的执行主体可以是训练服务器的处理器301，如图4所示，本申请的超分辨率卷积神经网络模型的训练方法可以包括：
步骤101、初始化超分辨率卷积神经网络模型。
其中，可以参考现有技术的初始化方法初始化该超分辨率卷积神经网络模型的权值参数和偏置参数，例如现有技术中的高斯函数初始化，本申请不一一举例说明。
示例性的，参见图5所示，使用初始化的权值参数和偏置参数设置该超分辨率卷积神经网络模型。举例而言，初始化的权值参数和偏置参数可以是属于[0.1]之间的任意数值。即将该超分辨率卷积神经网络模型的权值参数和偏置参数，赋值为该初始化的权值参数和偏置参数。
步骤102、通过图像配准算法对训练数据进行配准。
具体的，图像配准算法可以是加速稳健特征(Speeded Up Robust Features，SURF)算法，也可以是其他图像配准算法，此处不一一举例说明。
通过图像配准算法可以完成高清训练图像和低清训练图像的像素点的一一对应，即建立高清训练图像和低清训练图像的一一对应关系。
以上述多倍率包括m个变焦倍率{N1，N2，......，Nm}为例做进一步举例说明，训练数据包括m+1个图像，通过图像配准算法将拍摄距离等于N1米和数码变焦倍率等于N1的图像与拍摄距离等于1米和光学变焦倍率等于1的图像构成一个图像对，将拍摄距离等于N2米和数码变焦倍率等于N2的图像与拍摄距离等于1米和光学变焦倍率等于1的图像构成一个图像对，依次类推，将拍摄距离等于Nm米和数码变焦倍率等于Nm的图像与拍摄距离等于1米和变焦倍率等于1的图像构成一个图像对，各个图像对即为训练数据，即通过图像配准算法对训练数据进行配准，获取m个图像对，每个图像对包括一个高清训练图像和一个低清训练图像，本实施例以每个图像对均以拍摄距离等于1米和光学变焦倍率等于1的图像作为高清训练图像做举例说明。其中，以N2＝3为例做举例说，如图6所示，对同一房子的拍摄距离等于3米和数码变焦倍率等于3的图像，与拍摄距离等于1米和光学变焦倍率等于1的图像构成的图像对，视场角相同，但清晰度不同，其中，拍摄距离等于3米和数码变焦倍率等于3的图像为低清训练图像，拍摄距离等于1米和光学变焦倍率等于1的图像为高清训练图像。通过下述步骤对训练数据的学习，调整步骤101中的模型的权值参数和偏置参数，使得该神经网络模型的输出尽可能的接近目标值，该目标值具体可以是如图6所示的高清训练图像。
步骤103、根据高清训练图像确定蒙版图像。
具体的，提取高清训练图像中的一个或多个感兴趣区域，将一个或多个感兴趣区域以及其他区域分别赋以不同权值，生成与高清训练图像相同尺寸的蒙版图像。其中，多个感兴趣区域的权值可以相同也可以不同。
以高清训练图像的尺寸为4000*3000为例做举例说明，其中，4000具体指宽，3000具体指高，该高清训练图像具有4000*3000个像素点，获取该高清训练图像的每个像素点的灰度值或者亮度值，利用高频提取算法或者人脸检测算法或者图像分割算法提取出该高清训练图像中的一种或多种感兴趣区域，该感兴趣的区域可以是图像的高频信息，例如，图像的细节、轮廓等，以轮廓为例做举例说明，轮廓对应的像素点所在区域即为感兴趣的区域，生成的蒙版图像的尺寸也为4000*3000，蒙版图像中与高清训练图像的像素点对应的位置存储有权值，蒙版图像中不同位置的权值可以相同也可以不同。相同区域的权值可以相同，不同区域的权值可以不同。
其中，感兴趣区域的权值大于其他区域的权值，权值的大小可以根据需求进行灵活设置。感兴趣区域的权值大于其他区域的权值，可以保证感兴趣区域的学习率。例如感兴趣区域的权值为1，其他区域为0。
其中，一种可实现方式，利用高频提取算法提取高清训练图像中的高频信息，将高频信息作为感兴趣区域；另一种可实现方式，利用人脸检测算法提取高清训练图像中的人脸信息，将人脸信息作为感兴趣区域；再一种可实现方式，利用图像分割算法提取不同的物体作为不同的感兴趣区域。
其中，将高频信息所在区域(如图像边缘)作为感兴趣区域，通过下述步骤104可以使得高频信息所在区域(如图像边缘)的学习率增加，从而使得目标超分辨率卷积神经网络模型的输出图像边缘更加锐利，用户主观感受好，而通过下述步骤104可以使得低频信息所在区域(平坦区域、噪点等)的学习率增加，从而使得目标超分辨率卷积神经网络模型的输出图像不会有较明显的噪点放大，实现噪点均衡。
可选的，上述步骤103的一种具体的可实现方式，将高清训练图像通过高斯模糊得到一个模糊图像blur，计算高清训练图像与模糊图像blur的差，得到一个差值图像diff，对差值图像diff进行二值化处理，得到蒙板图像。
本实施例分别对m个图像对执行步骤104，举例而言，第一次执行步骤步骤104时，其中低清训练图像采用拍摄距离等于N1米和数码变焦倍率等于N1的图像，第二次执行步骤104时，其中低清训练图像采用拍摄距离等于N2米和数码变焦倍率等于N2的图像，其他图像对采用相同的方式进行处理，此处不再赘述。其中，每次执行步骤步骤104时，高清训练图像均采用拍摄距离等于1米和光学变焦倍率等于1的图像。
步骤104、将高清训练图像、低清训练图像以及蒙版图像输入初始化超分辨率卷积神经网络模型，经过循环迭代，获取目标超分辨率卷积神经网络模型。
具体的实现方式可以为，参见图5所示，低清训练图像经步骤101中的超分辨率卷积神经网络模型处理，输出一网络输出的高清图像。具体的，通过步骤101中的超分辨率卷积神经网络模型的处理，该处理包括低清训练图像与初始化的权值参数和/或初始化的偏置参数的运算，具体运算与该超分辨率卷积神经网络模型的结构有关，其可以根据需求进行灵活设置，得到网络输出的高清图像。将该网络输出的高清图像、高清训练图像和蒙版图像进行运算，得到一个损失代价结果，根据损失代价结果对步骤101中的超分辨率卷积神经网络模型进行调整，例如可以设置一个损失代价结果满足的预设条件，一种可实现方式，该预设条件可以是损失代价结果小于上一次迭代损失代价结果，如果不满足，则可以调整权值参数和偏置参数，以调整后的权值参数和调整后的偏置参数更新步骤101中的超分辨率卷积神经网络模型，以调整后的超分辨率卷积神经网络模型重复上述对低清训练图像的处理，进而计算一个新的损失代价结果，判断该新的损失代价结果是否满足预设条件，如此反复迭代，直至新的损失代价结果满足预设条件，得到目标超分辨率卷积神经网络模型。
其中，损失代价结果的计算可以如图5所示，该网络输出的高清图像的各个像素点的灰度值和高清训练图像的相应位置的像素点的灰度值相减，再乘以蒙版图像中相应位置的值，其中灰度值可以使用亮度值替换。损失代价结果的计算也可以根据需求进行其他运算，此处不一一举例说明。
示例性的，采用公式(1)计算损失代价结果；
Figure GPA0000288608090000151
其中，L为像素数，ymask为蒙版图像的权值，
Figure GPA0000288608090000152
为高清训练图像的像素点的灰度值或亮度值，ynn_hr为网络输出的高清图像的灰度值或亮度值，
Figure GPA0000288608090000153
表示2范数的平方，其中下标2表示2范数，上标2表示平方。即通过公式(1)中的l遍历1至L，对每个像素点进行计算，得到损失代价结果。
需要说明的是，本实施例的上述步骤以多倍率为例做举例说明，当超分辨率卷积神经网络模型为单倍率时，例如N倍率，则可以对一个图像对执行步骤103和步骤104，举例而言，执行步骤103和步骤104时，其中高清训练图像采用拍摄距离等于1米和光学变焦倍率等于1的图像，低清训练图像采用拍摄距离等于N米和数码变焦倍率等于N的图像。
本实施例的上述步骤均以一组训练数据为例做解释说明，可以理解的，也可以使用多组训练数据执行步骤102至步骤104，以根据多组训练数据调整超分辨率卷积神经网络模型，可以提升得到的目标超分辨率卷积神经网络模型的图像处理的效果。例如，一组训练数据为对人的场景进行拍照获取的，另一组训练数据为对湖景的场景进行拍照获取的，则使用该两组训练数据执行步骤102至步骤104，得到目标超分辨率卷积神经网络模型，可以提升该目标超分辨率卷积神经网络模型处理不同的场景的图像的效果。
本实施例，将高清训练图像、低清训练图像以及蒙版图像输入初始化超分辨率卷积神经网络模型，初始化超分辨率卷积神经网络模型可以根据高清训练图像、低清训练图像以及蒙版图像不断学习，进行模型调整，获取目标超分辨率卷积神经网络模型，在学习过程中，由于蒙版图像的输入，使得感兴趣区域权值较高，对损失代价结果影响较大，可以提升感兴趣区域的学习率，降低其他区域的学习率，从而可以有效提升所获得的目标超分辨率卷积神经网络模型的图像处理的效果。将该目标超分辨率卷积神经网络模型应用于模型应用设备中，可以提升模型应用设备输出的变焦后的图像的清晰度。
为了清楚的理解本申请实施例，对上述提升感兴趣区域的学习率，降低其他区域的学习率做具体解释说明，以蒙版图像中感兴趣区域的权值为1，其他区域为0为例做举例说明，网络输出的高清图像的各个像素值和高清训练图像的相应位置的像素值相减，再乘以蒙版图像中相应位置的值，由于感兴趣区域的权值为1，其他区域为0，那么损失代价结果完全由感兴趣区域决定，在损失代价结果不满足条件时，调整初始化超分辨率卷积神经网络模型的参数，以使得根据蒙版图像计算的损失代价结果满足条件，在模型调整，即学习过程中，仅涉及对该感兴趣区域的学习。由此可见，由于蒙版图像的不同区域的权值不同，使得模型对不同区域的学习率不同。
(4)使用模型
本申请还提供一种模型应用设备，该模型应用设备可以采用与图2所示结构相同的结构，该模型应用设备存储有本申请上述实施例所述的目标超分辨率卷积神经网络模型。具体的，目标超分辨率卷积神经网络模型可以以文件、程序或指令等形式，存储于模型应用设备的存储器中，当模型应用设备处于拍摄模式，并触发相机的数码变焦功能时，模型应用设备的处理器调用存储器中该目标超分辨率卷积神经网络模型，对模型应用设备的摄像头拍摄到的图像进行处理，得到输出图像，将该输出图像显示在该模型应用设备的触控显示屏上。
具体的，模型应用设备的触控显示屏接收到启动相机的触发操作，将该触发操作对应的指令发送给模型应用设备的处理器，响应于该指令，处理器启动相机应用，启动相机应用包括启动摄像头和在触控显示屏显示相机操作界面，在相机操作界面中可以包括摄像头采集的图像，还可以包括变焦按钮等控件。可以理解，当启动了相机应用后，如果触控显示屏正在显示拍照的界面，则摄像头可以持续的采集图像，触控显示屏可以显示这些持续采集的图像，该摄像头采集的图像为待变焦图像。可选的，摄像头可以在变焦功能开启之后再开始采集图像，触控显示屏显示该待变焦图像。
模型应用设备的触控显示屏接收到开启变焦功能的触发操作，将该开启变焦功能的触发操作对应的指令发送给模型应用设备的处理器。一种可实现方式，响应于该开启变焦功能的触发操作对应的指令，处理器根据该开启变焦功能的触发操作确定目标变焦倍率，启动目标变焦倍率对应的变焦功能。其中，在该实现方式中，该开启变焦功能的触发操作例如可以是放大相机操作界面中当前显示的图像的双指滑动手势，或者是按下了变焦按钮的手势等，本申请实施例对此不做限定。另一种可实现方式，响应于该开启变焦功能的触发操作对应的指令，处理器在相机操作界面中增加变焦功能界面，触控显示屏显示变焦功能界面，例如是一个表示变焦倍数的滑动条，触控显示屏接收用户在该变焦功能界面的选择输入，处理器根据该输入确定目标变焦倍率，处理器启动目标变焦倍率对应的变焦功能，可以理解，目标变焦倍率通常大于1。
在一些实施方式中，模型应用设备的具备光学变焦功能，例如，模型应用设备的最大光学变焦倍率的为2。
当目标变焦倍率小于模型应用设备的最大光学变焦倍率时，可采用光学变焦对待变焦图像进行处理，以得到对应目标变焦倍率的处理后的图像，可参考现有技术的相关方式。当目标变焦倍率等于模型应用设备的最大光学变焦倍率时，即可采用光学变焦对待变焦图像进行处理，也可以采用数码变焦对待变焦图像进行处理。
当该目标变焦倍率大于模型应用设备的最大光学变焦倍率时，可采用数码变焦对待变焦图像进行处理，以得到对应目标变焦倍率的处理后的图像。例如，处理器根据目标变焦倍率采集待处理图像，使用目标超分辨率卷积神经网络模型对待处理图像进行处理，以得到与所述目标变焦倍率对应的处理后的图像，将该处理后的图像显示在该模型应用设备的触控显示屏上。其中当该目标变焦倍率大于模型应用设备的最大光学变焦倍率时，启动目标变焦倍率对应的变焦功能可以理解为启动相应倍率的数码变焦功能。
在另一些实施方式中，模型应用设备不具备光学变焦功能，当确定了目标变焦倍率之后，可以直接使用目标超分辨率卷积神经网络模型对待处理图像进行数码变焦，以得到对应目标变焦倍率的处理后的图像。具体的，处理器根据目标变焦倍率采集待处理图像，使用目标超分辨率卷积神经网络模型对待处理图像进行处理，以得到与所述目标变焦倍率对应的处理后的图像，该模型应用设备的触控显示屏显示将该处理后的图像。
可选的，触控显示屏还可以接收用户通过相机操作界面或者在硬件拍照按钮上输入的拍照指令，响应于该拍照指令，处理器将处理后的图像保存至存储器中。并可以将一些拍照时间，地点等信息保存。
在上述训练模型处理之后，使用得到的目标超分辨率卷积神经网络模型设置模型应用设备。
一种可实现方式，当上述训练模型处理之后，得到多个单倍率的目标超分辨率卷积神经网络模型，多个单倍率可以包括{N1，N2，......，Nm}，m为大于1的正整数，m个变焦倍率中的每一个的取值范围与N相同，不用的变焦倍率取值不同，则可以根据模型应用设备的设备硬件条件或使用需求，选取部分或全部的目标超分辨率卷积神经网络模型设置该模型应用设备，下面以得到的多个单倍率包括{1，2，......，10}为例做举例说明，一种可实现方式，可以在模型应用设备中设置大于1且小于10的偶数倍变焦倍率的目标超分辨率卷积神经网络模型，例如，可以在模型应用设备中设置2倍变焦倍率的目标超分辨率卷积神经网络模型、4倍变焦倍率的目标超分辨率卷积神经网络模型、6倍变焦倍率的目标超分辨率卷积神经网络模型、8倍变焦倍率的目标超分辨率卷积神经网络模型、以及10倍变焦倍率的目标超分辨率卷积神经网络模型。另一种可实现方式，可以在模型应用设备中设置大于2且小于10的奇数倍变焦倍率的目标超分辨率卷积神经网络模型，例如，可以在模型应用设备中设置3倍变焦倍率的目标超分辨率卷积神经网络模型、5倍变焦倍率的目标超分辨率卷积神经网络模型、7倍变焦倍率的目标超分辨率卷积神经网络模型、以及9倍变焦倍率的目标超分辨率卷积神经网络模型。在一种可实现方式，可以设置大于1且小于等于10的整数倍变焦倍率的目标超分辨率卷积神经网络模型。
上述目标变焦倍率可以用X表示，上述目标变焦倍率X的取值可以是大于1的任意数值，包括整数和小数。
下面对目标变焦倍率X大于模型应用设备的最大光学变焦倍率(即进入数码变焦模式)时该模型应用设备的处理器的具体操作进行解释说明：
处理器根据目标变焦倍率X采集待处理图像，当X的取值为整数时，模型应用设备的处理器判断模型应用设备中是否设置有X变焦倍率的目标超分辨率卷积神经网络模型。若是，则处理器使用该X变焦倍率的目标超分辨率卷积神经网络模型对待处理图像进行处理，输出处理后的图像。若否，处理器使用Y变焦倍率的目标超分辨率卷积神经网络模型对待处理图像进行处理，得到一中间结果，其中，Y为模型应用设备中小于X的最大的变焦倍率，再使用现有技术的非学习的线性插值算法对该中间结果进行(X-Y)倍变焦，输出处理后的图像。下面，以X＝4，Y＝3为例做举例说明，处理器使用该3变焦倍率的目标超分辨率卷积神经网络模型对待处理图像进行处理，得到一中间结果，再使用现有技术的非学习的线性插值算法对该中间结果进行1倍变焦，输出处理后的图像。
当X的取值为小数时，模型应用设备的处理器对X进行向下取整
Figure GPA0000288608090000171
判断模型应用设备中是否设置有
Figure GPA0000288608090000172
变焦倍率的目标超分辨率卷积神经网络模型。若是，则处理器使用该
Figure GPA0000288608090000173
变焦倍率的目标超分辨率卷积神经网络模型对待处理图像进行处理，得到一中间结果，再使用现有技术的非学习的线性插值算法对该中间结果进行
Figure GPA0000288608090000174
倍变焦，输出处理后的图像。若否，处理器使用Y变焦倍率的目标超分辨率卷积神经网络模型对待处理图像进行处理，得到一中间结果，其中，Y为模型应用设备中小于X的最大的变焦倍率，再使用现有技术的非学习的线性插值算法对该中间结果进行(X-Y)倍变焦，输出处理后的图像。下面，以X＝4.5，Y＝3为例做举例说明，处理器使用该3变焦倍率的目标超分辨率卷积神经网络模型对待处理图像进行处理，得到一中间结果，再使用现有技术的非学习的线性插值算法对该中间结果进行1.5倍变焦，输出处理后的图像。
需要说明的是，模型应用设备中存储的不同变焦倍率的目标超分辨率卷积神经网络模型的个数越多，则该模型应用设备输出的变焦后的图像的清晰度越高，模型应用设备中存储的不同变焦倍率的目标超分辨率卷积神经网络模型的个数越少，则可以节省该模型应用设备的存储空间。其可以根据需求进行灵活设置。
可以理解的，当上述训练模型处理之后，得到的目标超分辨率卷积神经网络模型为多倍率，则可以在模型应用设备中设置该目标超分辨率卷积神经网络模型，该目标超分辨率卷积神经网络模型支持多个不同变焦倍率。目标变焦倍率X大于模型应用设备的最大光学变焦倍率时，该模型应用设备的处理器的具体操作可以为判断所述多倍率是否包括所述目标变焦倍率X，若是，将所述待处理图像输入所述目标超分辨率卷积神经网络模型，使用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处理，输出处理后的图像；若否，使用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处理，获取中间结果，使用线性插值算法对所述中间结果进行X-Z倍变焦，输出处理后的图像，其中，X为所述目标变焦倍率，Z为所述多倍率中小于X的最大的变焦倍率。
可以理解，模型应用设备还可以对摄像头采集到的图像进行变焦之外的其他处理，本申请对此不做限定。
图7为本申请的模型应用设备的输入图像和输出图像的对比示意图，如图7所示，输入图像为本实施例的待处理图像，该待处理图像可以不进行显示，而仅作为终端内部处理的图像，该输入图像的清晰度低，输出图像为本实施例的处理后的图像，终端在启动数码变焦后显示该处理后的图像。该输出图像的清晰度高。由此可见，经过本申请的目标超分辨率卷积神经网络模型的处理，可以有效提升该模型应用设备的变焦后的图像的清晰度。本实施例，模型应用设备通过目标超分辨率卷积神经网络模型对待处理图像进行处理，输出处理后的图像，由于该目标超分辨率卷积神经网络模型是根据高清训练图像、低清训练图像以及蒙版图像不断学习，进行模型调整得到的，所以可以提升模型应用设备输出的变焦后的图像的清晰度，以克服传统数码变焦引入的清晰度下降以及噪点放大等图像质量下降问题。
需要说明的是，本申请的模型应用设备也可以完成上述实施例所述的图像采集和训练模型过程。即该模型应用设备也可以作为图像采集设备采集训练图像，并作为训练服务器对超分辨率卷积神经网络模型进行训练，其具体实现方式可以参见上述实施例的解释说明，此处不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (18)

1.一种图像处理的方法，由具有数码变焦功能的终端执行，其特征在于，所述方法包括：
启动所述终端的拍照功能；
启动所述终端的变焦功能；
接收用户的选择输入；
根据所述选择输入确定目标变焦倍率；
采集待处理图像；
使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理，以得到与所述目标变焦倍率对应的处理后的图像；其中，所述目标超分辨率卷积神经网络模型为使用高清训练图像、低清训练图像以及蒙版图像对超分辨率卷积神经网络模型进行训练获取的；其中，所述蒙版图像为对所述高清训练图像中的感兴趣区域进行提取，将所述感兴趣区域和所述高清训练图像中的其余区域分别赋以不同权值，生成与所述高清训练图像相同尺寸的图像；
显示所述处理后的图像。
2.根据权利要求1所述的方法，其特征在于，所述终端存储有至少一个单倍率的目标超分辨率卷积神经网络模型，所述使用目标超分辨率卷积神经网络模型对待处理图像进行处理，显示处理后的图像，包括：
判断所述至少一个单倍率的目标超分辨率卷积神经网络模型中是否存在与所述目标变焦倍率相等倍率的目标超分辨率卷积神经网络模型；
若是，使用与所述目标变焦倍率相等倍率的目标超分辨率卷积神经网络模型对所述待处理图像进行处理，输出处理后的图像；
若否，使用Y倍率的目标超分辨率卷积神经网络模型对所述待处理图像进行处理，获取中间结果，使用线性插值算法对所述中间结果进行X-Y倍变焦，输出处理后的图像，其中，X为所述目标变焦倍率，Y为所述至少一个单倍率中小于X的最大的变焦倍率。
3.根据权利要求1所述的方法，其特征在于，所述终端存储有多倍率的目标超分辨率卷积神经网络模型，所述使用目标超分辨率卷积神经网络模型对待处理图像进行处理，显示处理后的图像，包括：
判断所述多倍率是否包括所述目标变焦倍率；
若是，将所述待处理图像输入所述目标超分辨率卷积神经网络模型，使用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处理，输出处理后的图像；
若否，使用所述目标超分辨率卷积神经网络模型对所述待处理图像进行处理，获取中间结果，使用线性插值算法对所述中间结果进行X-Z倍变焦，输出处理后的图像，其中，X为所述目标变焦倍率，Z为所述多倍率中小于X的最大的变焦倍率。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
针对同一场景拍摄的所述高清训练图像和所述低清训练图像，通过图像配准算法构建训练图像对；
按照预设规则提取所述高清训练图像中的感兴趣区域，将所述感兴趣区域和所述高清训练图像中的其余区域分别赋以不同权值，生成与所述高清训练图像相同尺寸的所述蒙版图像；
将所述高清训练图像、所述低清训练图像和所述蒙版图像输入超分辨率卷积神经网络模型，根据所述蒙版图像中存储的不同权值分区域计算损失代价结果，根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型，包括：
判断所述损失代价结果是否满足预设条件，若不满足，则调整所述超分辨率卷积神经网络模型，直至调整后的超分辨率卷积神经网络模型满足所述预设条件，得到所述目标超分辨率卷积神经网络模型；
若满足，则将所述超分辨率卷积神经网络模型作为所述目标超分辨率卷积神经网络模型。
6.根据权利要求5所述的方法，其特征在于，所述按照预设规则提取所述高清训练图像中的感兴趣区域，包括：
利用高频提取算法提取所述高清训练图像中的高频信息，将高频信息作为所述感兴趣区域；或者，
利用人脸检测算法提取所述高清训练图像中的人脸信息，将人脸信息作为所述感兴趣区域；或者，
利用图像分割算法提取不同的物体作为所述感兴趣区域。
7.根据权利要求1至3、5、6任一项所述的方法，其特征在于，所述方法还包括：
接收用户通过相机操作界面或者在硬件拍照按钮上输入的拍照命令，响应于所述拍照命令，将所述处理后的图像保存至所述终端的存储器中。
8.根据权利要求3所述的方法，其特征在于，所述使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理，包括：
当所述目标变焦倍率大于所述终端的最大光学变焦倍率时，使用目标超分辨率卷积神经网络模型对所述待处理图像进行处理。
9.一种图像处理的方法，其特征在于，包括：
针对同一场景拍摄高清训练图像和低清训练图像；
按照预设规则提取所述高清训练图像中的感兴趣区域，将所述感兴趣区域和所述高清训练图像中的其余区域分别赋以不同权值，生成与所述高清训练图像相同尺寸的蒙版图像；
使用所述高清训练图像、所述低清训练图像以及所述蒙版图像对超分辨率卷积神经网络模型进行训练生成目标超分辨率卷积神经网络模型。
10.根据权利要求9所述的方法，其特征在于，所述按照预设规则提取所述高清训练图像中的感兴趣区域，包括：
利用高频提取算法提取高清训练图像中的高频信息，将高频信息作为感兴趣区域；或者，
利用人脸检测算法提取高清训练图像中的人脸信息，将人脸信息作为感兴趣区域；或者，
利用图像分割算法提取不同的物体作为不同的感兴趣区域。
11.根据权利要求9或10所述的方法，其特征在于，所述使用所述高清训练图像、所述低清训练图像以及蒙版图像对超分辨率卷积神经网络模型进行训练生成目标超分辨率卷积神经网络模型，包括：
将所述高清训练图像、所述低清训练图像和所述蒙版图像输入超分辨率卷积神经网络模型，根据所述蒙版图像中存储的不同权值分区域计算损失代价结果，根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型。
12.根据权利要求11所述的方法，其特征在于，所述将所述高清训练图像、所述低清训练图像和所述蒙版图像输入超分辨率卷积神经网络模型，根据所述蒙版图像中存储的不同权值分区域计算损失代价结果，根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型，包括：
使用超分辨率卷积神经网络模型对所述低清训练图像进行处理，获取网络输出的高清图像；
将所述高清训练图像、所述网络输出的高清图像以及所述蒙版图像进行运算，计算损失代价结果；
根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型。
13.根据权利要求12所述的方法，其特征在于，所述根据所述损失代价结果得到所述目标超分辨率卷积神经网络模型，包括：
判断所述损失代价结果是否满足预设条件，若不满足，则调整所述超分辨率卷积神经网络模型，直至调整后的超分辨率卷积神经网络模型满足所述预设条件，得到所述目标超分辨率卷积神经网络模型；
若满足，则将所述超分辨率卷积神经网络模型作为所述目标超分辨率卷积神经网络模型。
14.根据权利要求12或13所述的方法，其特征在于，所述将所述高清训练图像、所述网络输出的高清图像以及所述蒙版图像进行运算，计算损失代价结果，包括：
根据公式
Figure FDA0003030682750000031
获取损失代价结果；
其中，Loss为损失代价结果，L为像素数，ymask为蒙版图像的权值，
Figure FDA0003030682750000032
为高清训练图像的像素点的灰度值或亮度值，ynn_hr为网络输出的高清图像的灰度值或亮度值。
15.根据权利要求9、10、12至13任一项所述的方法，其特征在于，所述方法还包括：
使用图像配准算法对所述高清训练图像和所述低清训练图像进行配准，建立所述高清训练图像和所述低清训练图像的一一对应关系。
16.一种终端，其特征在于，包括：显示器、摄像头、处理器和存储器；
其中，所述摄像头用于拍摄图像，所述存储器用于存储计算机可执行程序代码，所述程序代码包括指令；当所述处理器执行所述指令时，所述指令使所述终端执行如权利要求1至8任一项所述的图像处理方法。
17.一种训练服务器，其特征在于，包括：处理器和存储器；
其中，所述存储器用于存储计算机可执行程序代码，所述程序代码包括指令；当所述处理器执行所述指令时，所述指令使所述训练服务器执行如权利要求9至15任一项所述的图像处理方法。
18.一种计算机可读存储介质，其上存储有计算机程序或指令，其特征在于，当所述计算机程序或指令被处理器或计算机执行时，实现如权利要求1至15任一项所述的图像处理方法。
CN201780096739.9A 2017-12-01 2017-12-01 图像处理的方法和设备 Active CN111328448B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/114181 WO2019104705A1 (zh) 2017-12-01 2017-12-01 图像处理的方法和设备

Publications (2)

Publication Number Publication Date
CN111328448A CN111328448A (zh) 2020-06-23
CN111328448B true CN111328448B (zh) 2021-08-03

Family

ID=66664273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780096739.9A Active CN111328448B (zh) 2017-12-01 2017-12-01 图像处理的方法和设备

Country Status (4)

Country Link
US (1) US11704771B2 (zh)
EP (1) EP3687158A4 (zh)
CN (1) CN111328448B (zh)
WO (1) WO2019104705A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142883A (ko) * 2019-06-13 2020-12-23 엘지이노텍 주식회사 카메라 장치 및 카메라 장치의 이미지 생성 방법
CN110390666B (zh) * 2019-06-14 2023-06-27 平安科技（深圳）有限公司 道路损伤检测方法、装置、计算机设备及存储介质
CN110390636A (zh) * 2019-06-19 2019-10-29 深圳慧源创新科技有限公司 无人机超、高清图片或视频数据的模拟变焦方法
CN110363288B (zh) * 2019-07-15 2023-05-09 上海点积实业有限公司 一种神经网络的输入图像生成方法和系统
KR102213765B1 (ko) * 2019-08-09 2021-02-08 엘지이노텍 주식회사 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
CN110533097B (zh) * 2019-08-27 2023-01-06 腾讯科技（深圳）有限公司 一种图像清晰度识别方法、装置、电子设备及存储介质
US11140422B2 (en) * 2019-09-25 2021-10-05 Microsoft Technology Licensing, Llc Thin-cloud system for live streaming content
CN110827219B (zh) 2019-10-31 2023-04-07 北京小米智能科技有限公司 图像处理模型的训练方法、装置及介质
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
US11080833B2 (en) * 2019-11-22 2021-08-03 Adobe Inc. Image manipulation using deep learning techniques in a patch matching operation
CN111080527B (zh) * 2019-12-20 2023-12-05 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN113452895A (zh) * 2020-03-26 2021-09-28 华为技术有限公司 一种拍摄方法及设备
CN111340140A (zh) * 2020-03-30 2020-06-26 北京金山云网络技术有限公司 图像数据集的获取方法、装置、电子设备及存储介质
US11468327B2 (en) * 2020-05-26 2022-10-11 GE Precision Healthcare LLC Differential learning for learning networks
CN111915536A (zh) * 2020-08-11 2020-11-10 北京小米松果电子有限公司 一种提高图像清晰度的方法、装置及介质
CN112069959A (zh) * 2020-08-27 2020-12-11 北京锐安科技有限公司 人体检测方法、装置、电子设备和存储介质
CN112365398B (zh) * 2020-09-11 2024-04-05 成都旷视金智科技有限公司 超分辨率网络训练方法、数字变焦方法、装置及电子设备
CN112116528A (zh) * 2020-09-25 2020-12-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112288699B (zh) * 2020-10-23 2024-02-09 北京百度网讯科技有限公司 图像相对清晰度的评估方法、装置、设备和介质
RU2764395C1 (ru) 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
CN115002333B (zh) * 2021-03-02 2023-09-26 华为技术有限公司 一种图像处理方法及相关装置
CN113298714B (zh) * 2021-05-24 2024-04-26 西北工业大学 一种基于深度学习的图像跨尺度超分辨率方法
CN113382185B (zh) * 2021-06-09 2022-06-28 豪威科技(武汉)有限公司 数据生成、训练、成像方法、存储介质和拍摄装置
WO2023272414A1 (zh) * 2021-06-28 2023-01-05 华为技术有限公司 图像处理方法和图像处理装置
CN113409288B (zh) * 2021-06-29 2023-06-27 北京百度网讯科技有限公司 一种图像清晰度的检测方法、装置、设备和存储介质
CN114173199B (zh) * 2021-11-24 2024-02-06 深圳Tcl新技术有限公司 一种视频输出方法、装置、智能设备及存储介质
US20230237620A1 (en) * 2022-01-27 2023-07-27 Sonic Star Global Limited Image processing system and method for processing image
CN114615520B (zh) * 2022-03-08 2024-01-02 北京达佳互联信息技术有限公司 字幕定位方法、装置、计算机设备及介质
CN117474766A (zh) * 2022-07-13 2024-01-30 瑞昱半导体股份有限公司 超级分辨率模型的训练方法、超级分辨率方法与系统
CN116801047B (zh) * 2023-08-17 2024-02-13 深圳市艾科维达科技有限公司 基于权重归一化的机顶盒图像处理模块及方法
CN117711580B (zh) * 2024-02-05 2024-05-03 安徽鲲隆康鑫医疗科技有限公司 一种图像处理模型的训练方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7187811B2 (en) * 2003-03-18 2007-03-06 Advanced & Wise Technology Corp. Method for image resolution enhancement
CN103918251A (zh) * 2011-11-08 2014-07-09 富士胶片株式会社 摄像装置及其控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5764740B2 (ja) 2010-10-13 2015-08-19 パナソニックＩｐマネジメント株式会社 撮像装置
GB2539845B (en) * 2015-02-19 2017-07-12 Magic Pony Tech Ltd Offline training of hierarchical algorithms
CN105590094B (zh) * 2015-12-11 2019-03-01 小米科技有限责任公司 确定人体数量的方法及装置
CN108133456A (zh) * 2016-11-30 2018-06-08 京东方科技集团股份有限公司 人脸超分辨率重建方法、重建设备以及计算机系统
CN106683048B (zh) 2016-11-30 2020-09-01 浙江宇视科技有限公司 一种图像超分辨率方法及设备
CN106910161B (zh) * 2017-01-24 2020-06-19 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
CN107358575A (zh) 2017-06-08 2017-11-17 清华大学 一种基于深度残差网络的单幅图像超分辨率重建方法
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
JP2019096146A (ja) * 2017-11-24 2019-06-20 キヤノン株式会社 画像識別装置、画像識別方法、コンピュータプログラム、及び記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7187811B2 (en) * 2003-03-18 2007-03-06 Advanced & Wise Technology Corp. Method for image resolution enhancement
CN103918251A (zh) * 2011-11-08 2014-07-09 富士胶片株式会社 摄像装置及其控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Clément Peyrard.Single image super-resolution based on neural networks for text and face recognition.《PHD Thesis》.2017, *
Single image super-resolution based on neural networks for text and face recognition;Clément Peyrard;《PHD Thesis》;20170929;第99-115段（第五章） *

Also Published As

Publication number Publication date
US20200334789A1 (en) 2020-10-22
EP3687158A4 (en) 2020-10-07
EP3687158A1 (en) 2020-07-29
CN111328448A (zh) 2020-06-23
WO2019104705A1 (zh) 2019-06-06
US11704771B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
CN111328448B (zh) 图像处理的方法和设备
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
CN111709891B (zh) 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN107948505B (zh) 一种全景拍摄方法及移动终端
CN109784164B (zh) 前景识别方法、装置、电子设备及存储介质
CN111340731A (zh) 图像处理方法及装置、电子设备和存储介质
CN109509195B (zh) 前景处理方法、装置、电子设备及存储介质
CN110827219B (zh) 图像处理模型的训练方法、装置及介质
CN112634160A (zh) 拍照方法及装置、终端、存储介质
CN113160277A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110874809A (zh) 图像处理方法及装置、电子设备和存储介质
CN110266914B (zh) 图像拍摄方法、装置及计算机可读存储介质
US9665925B2 (en) Method and terminal device for retargeting images
CN107992894B (zh) 图像识别方法、装置及计算机可读存储介质
CN109816620B (zh) 图像处理方法及装置、电子设备和存储介质
CN114723603A (zh) 图像处理方法、图像处理装置及存储介质
CN112288657A (zh) 图像处理方法、图像处理装置及存储介质
CN112188096A (zh) 拍照方法及装置、终端及存储介质
CN113592733A (zh) 图像处理方法、装置、存储介质及电子设备
CN112200745A (zh) 遥感影像的处理方法及装置、电子设备和存储介质
WO2023245343A1 (zh) 一种图像处理方法、图像处理装置及存储介质
CN117670693A (zh) 图像的处理方法、装置及存储介质
CN118018835A (zh) 图像拍摄方法、装置、摄像设备及存储介质
CN112950465A (zh) 视频超分处理方法、视频超分处理装置及存储介质
CN116416141A (zh) 图像处理方法及装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant