CN111563838B - 图像处理方法及电子设备 - Google Patents

图像处理方法及电子设备 Download PDF

Info

Publication number
CN111563838B
CN111563838B CN202010332837.1A CN202010332837A CN111563838B CN 111563838 B CN111563838 B CN 111563838B CN 202010332837 A CN202010332837 A CN 202010332837A CN 111563838 B CN111563838 B CN 111563838B
Authority
CN
China
Prior art keywords
image
flow field
optical flow
loss function
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010332837.1A
Other languages
English (en)
Other versions
CN111563838A (zh
Inventor
陈立里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202010332837.1A priority Critical patent/CN111563838B/zh
Publication of CN111563838A publication Critical patent/CN111563838A/zh
Application granted granted Critical
Publication of CN111563838B publication Critical patent/CN111563838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法、装置及电子设备，涉及图像处理技术领域。其中，通过将获取的待处理的第一图像输入预设模型中，得到第一图像中的待处理区域以及待处理区域对应的光流场；再根据光流场调整待处理区域的对应位置，得到第二图像，以改善图像处理效果。

Description

图像处理方法及电子设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及电子设备。
背景技术
随着电子设备的不断普及，美颜等图像处理功能也已经越来越多地被用户所使用和喜爱，例如，在用户拍摄的过程中，可以使用美颜功能对拍摄得到的图像中的人物轮廓进行优化，如：瘦脸、瘦腰等。
但是，现在一些图像处理功能中所涉及的图像处理强度、图像处理位置等为预先设定的，导致图像处理效果不符合用户的需求。
申请内容
本申请实施例提供了一种图像处理方法及电子设备，能够解决无法根据不同图像的个性化特点对不同图像进行个性化处理的问题。
为了解决上述问题，本申请是这样实现的：
第一方面，本申请实施例提供一种图像处理方法，应用于电子设备，包括：获取待处理的第一图像；将所述第一图像输入预设模型中，得到所述第一图像中的待处理区域以及所述待处理区域对应的光流场；根据所述光流场调整所述待处理区域的对应位置，得到第二图像。
第二方面，本申请实施例还提供一种电子设备，包括：图像获取模块，用于获取待处理的第一图像；模型预测模块，用于将所述第一图像输入预设模型中，得到所述第一图像中的待处理区域以及所述待处理区域对应的光流场；图像处理模块，用于根据所述光流场，调整所述待处理区域的对应位置，得到第二图像。
第三方面，本申请实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序指令被所述处理器执行时实现如上所述的图像处理方法的步骤。
第四方面，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上所述的图像处理方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
在本申请实施例提供的图像处理方法及电子设备中，通过将待处理的第一图像输入预设模型，得到第一图像中的待处理区域以及待处理区域对应的光流场，进而根据光流场对待处理区域的对应位置进行调整，得到第二图像，能够有效利用预设模型对具有不同个性化特点的第一图像进行图像处理，改善了图像处理效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为根据一示例性实施例提供的图像处理方法的流程示意图。
图2a和图2b为一示例性实施例提供的进行图像裁剪前后的第一图像的示意图。
图3a为一示例性实施例提供的第一图像的示意图。
图3b为一示例性实施例提供的经预设模型预测得到的待处理区域的示意图。
图3c为一示例性实施例提供的进行图像处理后的图像的示意图。
图4为根据另一示例性实施例提供的图像处理方法的流程示意图。
图5为一示例性实施例提供的进行关键特征点提取后的图像的示意图。
图6为根据又一示例性实施例提供的图像处理方法的流程示意图。
图7为根据一示例性实施例提供的电子设备的框图。
图8为根据一示例性实施例提供的电子设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
如图1所示，为本申请一个实施例提供的图像处理方法的示意性流程图，该图像处理方法可由电子设备执行，具体可由，但不限于电子设备中的硬件或软件执行，电子设备可以包括终端设备或/和服务器设备。请再次参照图1，图像处理方法可以包括如下步骤。
S110，获取待处理的第一图像。
其中，第一图像可以是用户通过电子设备上的摄像装置拍摄得到的图像，也可以是用户已经拍摄并保存在电子设备中的相册中的图像，还可以是用户从网页上下载的网络图像等，本实施例对此不做限制。
示例性地，用户在使用电子设备中的摄像装置拍摄照片时，电子设备中显示的图像即为待处理的第一图像。或者，用户打开电子设备中的相册，选取相册中的任一图像，此时用户所选择的图像即为待处理的第一图像。
在本申请实施例的一个可选实施方式中，为了提高图像处理效率，可通过目标检测方法检测第一图像中的目标信息，如人脸信息、人像信息等，再根据检测到的目标信息对第一图像进行裁剪得到包括目标信息的新的第一图像，最后基于新的第一图像执行后续S120和S130中所述的图像处理过程。
例如，假设第一图像为用户通过电子设备上的摄像装置获取的如图2a所示的图像，那么，可通过人像检测方法对图2a所示的图像中的人像区域进行检测，根据检测结果对图2a所示的图像进行裁剪，得到图2b所示的图像，再将图2b所示的图像作为新的第一图像。
S120，将第一图像输入预设模型中，得到第一图像中的待处理区域以及待处理区域对应的光流场(Optical Flow Field，OFF)。
其中，预设模型可以通过，但不限于对ResNet(Residual Neural Network，扩张型残余神经网络)等图像分割模型进行训练得到。
待处理区域为通过预设模型预测得到的第一图像中需要进行图像处理的区域。可选地，待处理区域可以是，但不限于脸部、鼻子、眼角、嘴巴、腰部、胸部、腿部等。实际应用中，针对待处理区域的不同，前述的图像处理可以是瘦脸、隆鼻、开眼角、瘦腰、瘦腿等涉及人体轮廓优化的处理过程，本实施例对此不做具体限制。
另外，考虑到光流场是一个二维矢量场，它包含的信息即是各像素点的瞬时运动速度矢量信息，如矢量大小、矢量方向等，本实施例中通过光流场的预测能够得到对第一图像进行图像处理时的图像处理标准，如待处理区域的相应位置处的像素点的移动方向或移动距离，从而实现针对不同第一图像中的个性化特点进行具有个性化的图像处理，以满足用户的需求。
例如，假设第一图像为图2b所示的完整人像，将第一图像输入预设模型得到的待处理区域为图3a所示的人脸区域，该人脸区域具有脸颊外突的特点，那么，经预设模型对第一图像进行预测后，得到的待处理区域对应的光流场可以如图3b中所示的“B”。
S130，根据光流场调整待处理区域的对应位置，得到第二图像。
其中，在对第一图像进行调整时，是通过对第一图像中的待处理区域的对应位置处的各像素点进行调整实现。例如，根据光流场中包括的矢量大小和/或矢量方向对像素点的位置进行移动以实现图像处理，如瘦脸、隆鼻、开眼角、瘦腰等，本实施例对此不做限制。
示例性地，延用图3a中所示的待处理区域，那么在采用前述S120和S130对该待处理区域进行处理后的第二图像可以如图3c所示。
在前述给出的图像处理方法中，通过将待处理的第一图像输入预设模型，以得到第一图像中的待处理区域以及待处理区域对应的光流场，进而根据光流场对待处理区域的对应位置进行调整，得到第二图像，由此，一方面能够有效利用预设模型对具有不同个性化特点的第一图像进行个性化图像处理，改善了图像处理效果。另一方面，避免了相关图像处理功能中，由于图像处理强度、图像处理范围等均是由工程师等预先设定的，所造成的无法针对具有不同个性化特点的图像进行个性化处理的问题，满足了用户的需求。
如图4所示，为本申请的另一个实施例提供的一种图像处理方法的流程示意图，该方法可由电子设备执行，具体可由，但不限于电子设备中的硬件或软件执行，电子设备可以包括终端设备或/和服务器设备。其中，图像处理方法可以包括如下步骤。
S410，获取待处理的第一图像。
S420，将第一图像输入预设模型中，得到第一图像的待处理区域以及待处理区域对应的光流场。
前述S410和S420的具体处理过程可参见前述S110和S120中的相关描述，在此不再赘述。
S430，提取待处理区域中的关键特征点。
其中，继续延用图3b中给出的待处理区域，那么，对该待处理区域进行关键特征点提取，提取到的关键特征点可如图5所示。
S440，根据光流场，调整关键特征点的位置，得到第二图像。
在S430和S440中，通过提取待处理区域中的关键特征点，并仅对关键特征点处的像素点进行如缩进、外扩等调整，能够在根据不同图像的个性化特点进行图像处理，确保图像处理效果的同时，还能大幅减少图像处理过程中的像素点的调整量，提高图像处理效率。
实际应用中，在光流场包括矢量大小和矢量方向的情况下，前述S440中所述的根据光流场调整关键特征点的位置，得到第二图像的过程还可以包括：根据光流场中的矢量大小和矢量方向，移动关键特征点处的像素点，得到第二图像，从而降低图像处理过程中的像素点的调整量，提高图像处理效率。
如图6所示，为本申请的另一个实施例提供的一种图像处理方法的流程示意图，该方法可由电子设备执行，具体可由，但不限于电子设备中的硬件或软件执行，电子设备可以包括终端设备或/和服务器设备。其中，图像处理方法可以包括如下步骤。
S610，选取预设数目的样本图像得到训练数据集。
其中，每个样本图像对应至少一个样本光流场。此外，训练数据集中包括的样本图像的数目可根据实际进行设定，本实施例在此不做限制。每个样本图像可预设有待处理区域以及待处理区域对应样本光流场。
需要注意的是，为了提高模型训练结果的可靠性，在一些实现方式中，训练数据集中的样本图像可以由预设比例(如7：3)的正样本和负样本组成，本实施例对此不做具体限制。
S620，将训练数据集中的每个样本图像输入预设模型中，得到与各样本图像对应的预测结果，预测结果包括预测光流场。
其中，预设模型可以是，但不限于ResNet(Residual Neural Network，扩张型残余神经网络)等图像分割模型。
S630，基于预设损失函数、各样本光流场以及各预测光流场计算预设模型的损失函数值。
其中，预设损失函数用于对训练后的预设模型进行优化，以提高训练得到的模型的输出结果的可靠性。可选地，在一种实现方式中，预设损失函数可以基于第一损失函数、第二损失函数以及对应的损失函数加权因子确定得到。
其中，第一损失函数用于计算实际光光流场与预测光流场之间的损失函数值，第二损失函数用于计算样本光流场的梯度与预测光流场的梯度之间的损失函数值。由此，在通过第一损失函数考虑光流场的损失函数值之后，还通过第二损失函数综合考虑了光流场梯度之间的损失函数值，能够使得样本光流场的梯度与预测光流场的梯度相似，进而使得对第一图像进行处理后的位置的边缘更加光滑，进一步改善图像处理效果。
实际应用中，预设损失函数L可以为L＝L1+λL2，其中，L1为第一损失函数，L2为第二损失函数，L1＝||(F(X)-U)||2，
Figure BDA0002465578870000071
λ为预设的损失函数加权因子，λ可以为，但不限于0.1，F(X)为预测光流场，U为样本光流场，/>
Figure BDA0002465578870000072
分别为光流场的水平梯度和垂直梯度，S表示预设步长，其取值可以是，但不限于S∈{2,8,16，32,64}。
S640，在损失函数值不满足预设需求的情况下，调整预设模型的模型参数，直到基于模型参数调整后的预设模型计算得到的损失函数值满足预设需求。
其中，预设需求是指计算得到的损失函数值达到最小，也就是经多次优化、调整后的预设模型的鲁棒性达到最优，进而能够使得通过预设模型得到的训练数据集中的各样本图像对应的预测光流场与样本光流场越来越接近，甚至一样。需要注意的是，在判断损失函数值是否满足预设需求时，可通过比对计算得到的各损失函数值是否趋于平稳，若趋于平稳，则判定计算得到的损失函数值满足预设需求，或者通过比对相邻两次计算得到的损失函数值之间的差值是否小于预设值，若小于，则判定计算得到的损失函数值满足预设需求；反之，则继续调整预设模型的模型参数，直到基于模型参数调整后的预设模型计算得到的损失函数值满足预设需求。
实际应用中，为了避免对模型的过度训练，导致模型训练效率低，在对模型进行预设次数(如100次等)的调整、优化后，可采用均方根误差、R-平方(R^2)、平均绝对误差(MAE)等评价函数，并结合测试样本对预设模型的输出结果的准确性进行检测，并在检测结果的准确率未提升的情况下，停止对预设模型的训练，并将该预设模型作为预设模型，用于图像处理。需要说明的是，前述测试样本的选取可参照训练数据集的选取方式进行选取，本实施例对此不再赘述。
S650，在训练得到预设模型的情况下，获取待处理的第一图像。
S660，将第一图像输入预设模型中，得到第一图像中的待处理区域以及待处理区域对应的光流场。
S670，根据光流场调整待处理区域的对应位置，得到第二图像。
前述S650至S670中的具体处理过程可参见前述S110至S130中的相关描述，在此不再赘述。
前述图像处理方法中，在模型训练阶段，通过第二损失函数的引入，综合考虑了光流场的梯度损失，能够使得基于训练得到的预设模型预测得到的光流场的可靠性更高，进而使得基于该光流场进行图像处理后的图像效果更优。
图7是根据一示例性实施例示出的一种电子设备700的框图。该电子设备700包括图像获取模块710、模型预测模块720和图像处理模块730。
图像获取模块710，用于获取待处理的第一图像；模型预测模块720，用于将第一图像输入预设模型中，得到第一图像中的待处理区域以及待处理区域对应的光流场；图像处理模块730，用于根据光流场调整待处理区域的对应位置，得到第二图像。
在本申请的一种可能的实现方式中，图像处理模块730具体可用于提取待处理区域中的关键特征点；以及根据光流场，调整关键特征点的位置，得到第二图像。
可选地，图像处理模块730具体还用于在光流场包括矢量大小和矢量方向的情况下，根据矢量大小和矢量方向，移动关键特征点处的像素点，得到第二图像。
在本申请的另一种可能的实现方式中，电子设备700还可包括：样本选取模块，用于选取预设数目的样本图像得到训练数据集，其中，每个样本图像对应至少一个样本光流场；模型训练模块，用于将训练数据集中的每个样本图像输入预设模型中，得到与各样本图像对应的预测结果，预测结果包括预测光流场；数值计算模块，用于基于预设损失函数、样本光流场以及各预测光流场计算预设模型的损失函数值；参数调整模块，用于在所述损失函数值不满足预设需求的情况下，调整所述预设模型的模型参数，直到基于模型参数调整后的所述预设模型计算得到的损失函数值满足所述预设需求。
可选地，在一些实现方式中，预设损失函数基于第一损失函数、第二损失函数以及对应的损失函数加权因子确定得到，第一损失函数用于计算样本光流场与预测光流场之间的损失函数值，第二损失函数用于计算样本光流场的梯度与预测光流场的梯度之间的损失函数值。
关于上述实施例中的电子设备700，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
通过对本实施例给出的电子设备700的描述可以看出，本实施例给出的技术方案至少具有以下技术效果：
本申请实施例提供的电子设备700中，通过将待处理的第一图像输入预设模型，得到第一图像中的待处理区域以及待处理区域对应的光流场，进而根据光流场对待处理区域的对应位置进行调整，得到第二图像，能够有效利用预设模型对具有不同个性化特点的第一图像进行个性化的图像处理，有效的改善了图像处理效果，满足了用户的需求。
图8是根据一示例性实施例示出的另一种电子设备800的框图。该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元807、用户输入单元806、接口单元808、存储器809、处理器710以及电源711等部件。本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本申请实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中，处理器810，可用于获取待处理的第一图像；将第一图像输入预设模型中，得到待处理区域以及待处理区域处的光流场；根据光流场调整第一图像中与待处理区域的对应位置，得到第二图像。
处理器通810过实施前述过程，能够达到以下技术效果：
通过将待处理的第一图像输入预设模型，得到与第一图像对应的待处理区域以及待处理区域处的光流场，进而根据光流场调整第一图像中与待处理区域的对应位置，得到第二图像，以针对不同第一图像的个性化特征实现个性化的图像处理，有效改善了图像处理效果，满足了用户的需求。
应理解的是，本申请实施例中，射频单元801可用于收发信息或通话过程中信号的接收和发送。具体的，将来自基站的下行数据接收后，给处理器810处理；另外，将上行的数据发送给基站。通常，射频单元801包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元801还可以通过无线通信系统与网络和其他设备通信。
电子设备800通过网络模块802为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元803可以将射频单元801或网络模块802接收的或者在存储器809中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元803还可以提供与电子设备800执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元803包括扬声器、蜂鸣器以及受话器等。
输入单元804用于接收音频或视频信号。输入单元804可以包括图形处理器(Graphics Processing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元807上。经图形处理器8041处理后的图像帧可以存储在存储器809(或其它存储介质)中或者经由射频单元801或网络模块802进行发送。麦克风8042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元801发送到移动通信基站的格式输出。
电子设备800还包括至少一种传感器805，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板8071的亮度，接近传感器可在电子设备800移动到耳边时，关闭显示面板8071和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器805还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元806用于显示由用户输入的信息或提供给用户的信息。显示单元806可包括显示面板8061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板8061。
用户输入单元807可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板8071上或在触控面板8071附近的操作)。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器810，接收处理器810发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板8071。除了触控面板8071，用户输入单元807还可以包括其他输入设备8072。具体地，其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板8071可覆盖在显示面板8061上，当触控面板8071检测到在其上或附近的触摸操作后，传送给处理器710以确定触摸事件的类型，随后处理器810根据触摸事件的类型在显示面板8061上提供相应的视觉输出。虽然在图8中，触控面板8071与显示面板8061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板8071与显示面板8061集成而实现电子设备的输入和输出功能，具体此处不做限定。
接口单元808为外部装置与电子设备800连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元808可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备800内的一个或多个元件或者可以用于在电子设备800和外部装置之间传输数据。
存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器809可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器810是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器809内的软件程序和/或模块，以及调用存储在存储器809内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器810可包括一个或多个处理单元；优选的，处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。
电子设备800还可以包括给各个部件供电的电源811(比如电池)，优选的，电源811可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外，电子设备800包括一些未示出的功能模块，在此不再赘述。
本申请实施例还提供了一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例还提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，应用于电子设备，其特征在于，包括：
选取预设数目的样本图像得到训练数据集，其中，每个所述样本图像对应至少一个样本光流场；
将所述训练数据集中的每个样本图像输入预设模型中，得到与各所述样本图像对应的预测结果，所述预测结果包括预测光流场；
基于预设损失函数、各所述样本光流场以及各所述预测光流场计算所述预设模型的损失函数值；
在所述损失函数值不满足预设需求的情况下，调整所述预设模型的模型参数，直到基于模型参数调整后的所述预设模型计算得到的损失函数值满足所述预设需求；
获取待处理的第一图像；
将所述第一图像输入预设模型中，得到所述第一图像中的待处理区域以及所述待处理区域对应的光流场，其中，所述预设模型为所述损失函数值满足预设需求的模型；
根据所述光流场调整所述待处理区域的对应位置，得到第二图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述光流场调整所述待处理区域的对应位置，得到第二图像的步骤，包括：
提取所述待处理区域中的关键特征点；
根据所述光流场，调整所述关键特征点的位置，得到所述第二图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述光流场，调整所述关键特征点的位置，得到所述第二图像的步骤，包括：
在所述光流场包括矢量大小和矢量方向的情况下，根据所述矢量大小和矢量方向，移动所述关键特征点处的像素点，得到所述第二图像。
4.根据权利要求1所述的图像处理方法，其特征在于，所述预设损失函数是基于第一损失函数、第二损失函数以及对应的损失函数加权因子确定得到的，所述第一损失函数用于计算所述样本光流场与所述预测光流场之间的损失函数值，所述第二损失函数用于计算所述样本光流场的梯度与所述预测光流场的梯度之间的损失函数值。
5.根据权利要求4所述的图像处理方法，其特征在于，所述预设损失函数为
Figure QLYQS_1
，/>
Figure QLYQS_2
为所述第一损失函数，/>
Figure QLYQS_3
为所述第二损失函数，/>
Figure QLYQS_4
，/>
Figure QLYQS_5
；
其中，
Figure QLYQS_6
为预设的损失函数加权因子，/>
Figure QLYQS_7
为所述预测光流场，/>
Figure QLYQS_8
为所述样本光流场，
Figure QLYQS_9
、/>
Figure QLYQS_10
分别为水平梯度和垂直梯度，/>
Figure QLYQS_11
为预设步长。
6.一种电子设备，其特征在于，包括：
样本选取模块，用于选取预设数目的样本图像得到训练数据集，其中，每个所述样本图像对应至少一个样本光流场；
模型训练模块，用于将所述训练数据集中的每个样本图像输入预设模型中，得到与各所述样本图像对应的预测结果，所述预测结果包括预测光流场；
数值计算模块，用于基于预设损失函数、所述样本光流场以及各所述预测光流场计算所述预设模型的损失函数值；
参数调整模块，用于在所述损失函数值不满足预设需求的情况下，调整所述预设模型的模型参数，直到基于模型参数调整后的所述预设模型计算得到的损失函数值满足所述预设需求；
图像获取模块，用于获取待处理的第一图像；
模型预测模块，用于将所述第一图像输入预设模型中，得到所述第一图像中的待处理区域以及所述待处理区域对应的光流场，其中，所述预设模型为损失函数值满足预设需求的模型；
图像处理模块，用于根据所述光流场，调整所述待处理区域的对应位置，得到第二图像。
7.根据权利要求6所述的电子设备，其特征在于，所述图像处理模块具体用于提取所述待处理区域中的关键特征点；以及根据所述光流场，调整所述关键特征点的位置，得到所述第二图像。
8.根据权利要求7所述的电子设备，其特征在于，所述图像处理模块还具体用于在所述光流场包括矢量大小和矢量方向的情况下，根据所述矢量大小和矢量方向，移动所述关键特征点处的像素点，得到所述第二图像。
9.根据权利要求6所述的电子设备，其特征在于，所述预设损失函数是基于第一损失函数、第二损失函数以及对应的损失函数加权因子确定得到的，所述第一损失函数用于计算所述样本光流场与所述预测光流场之间的损失函数值，所述第二损失函数用于计算所述样本光流场的梯度与所述预测光流场的梯度之间的损失函数值。
10.根据权利要求9所述的电子设备，其特征在于，所述预设损失函数为
Figure QLYQS_12
，/>
Figure QLYQS_13
为所述第一损失函数，/>
Figure QLYQS_14
为所述第二损失函数，/>
Figure QLYQS_15
，/>
Figure QLYQS_16
；
其中，
Figure QLYQS_17
为预设的损失函数加权因子，/>
Figure QLYQS_18
为所述预测光流场，/>
Figure QLYQS_19
为所述样本光流场，
Figure QLYQS_20
、/>
Figure QLYQS_21
分别为水平梯度和垂直梯度，/>
Figure QLYQS_22
表示预设步长。/>
CN202010332837.1A 2020-04-24 2020-04-24 图像处理方法及电子设备 Active CN111563838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010332837.1A CN111563838B (zh) 2020-04-24 2020-04-24 图像处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010332837.1A CN111563838B (zh) 2020-04-24 2020-04-24 图像处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN111563838A CN111563838A (zh) 2020-08-21
CN111563838B true CN111563838B (zh) 2023-05-26

Family

ID=72074323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010332837.1A Active CN111563838B (zh) 2020-04-24 2020-04-24 图像处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN111563838B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634126A (zh) * 2020-12-22 2021-04-09 厦门美图之家科技有限公司 人像减龄处理方法、训练方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881952A (zh) * 2018-07-02 2018-11-23 上海商汤智能科技有限公司 视频生成方法及装置、电子设备和存储介质
CN110223322A (zh) * 2019-05-31 2019-09-10 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4985818B2 (ja) * 2010-05-14 2012-07-25 カシオ計算機株式会社 画像処理装置および画像処理のプログラム
CN107820017B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像拍摄方法、装置、计算机可读存储介质和电子设备
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
CN109784215B (zh) * 2018-12-27 2022-07-15 金现代信息产业股份有限公司 一种基于改进的光流法的活体检测方法及系统
CN109871760B (zh) * 2019-01-15 2021-03-26 北京奇艺世纪科技有限公司 一种人脸定位方法、装置、终端设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881952A (zh) * 2018-07-02 2018-11-23 上海商汤智能科技有限公司 视频生成方法及装置、电子设备和存储介质
CN110223322A (zh) * 2019-05-31 2019-09-10 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111563838A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN110740259B (zh) 视频处理方法及电子设备
CN109461117B (zh) 一种图像处理方法及移动终端
CN111554321B (zh) 降噪模型训练方法、装置、电子设备及存储介质
CN108989672B (zh) 一种拍摄方法及移动终端
CN111405199B (zh) 一种图像拍摄方法和电子设备
CN109685915B (zh) 一种图像处理方法、装置及移动终端
CN107730460B (zh) 一种图像处理方法及移动终端
CN107749046B (zh) 一种图像处理方法及移动终端
CN111031234B (zh) 一种图像处理方法及电子设备
JP7467667B2 (ja) 検出結果出力方法、電子機器及び媒体
CN109727212B (zh) 一种图像处理方法及移动终端
CN111145087B (zh) 一种图像处理方法及电子设备
CN109819166B (zh) 一种图像处理方法和电子设备
CN108881782B (zh) 一种视频通话方法及终端设备
CN108881721B (zh) 一种显示方法及终端
CN110769186A (zh) 一种视频通话方法、第一电子设备及第二电子设备
CN111008929B (zh) 图像矫正方法及电子设备
CN111080747B (zh) 一种人脸图像处理方法及电子设备
CN110363729B (zh) 一种图像处理方法、终端设备及计算机可读存储介质
CN109104573B (zh) 一种确定对焦点的方法及终端设备
CN107798662B (zh) 一种图像处理方法及移动终端
CN111563838B (zh) 图像处理方法及电子设备
CN111402157B (zh) 一种图像处理方法及电子设备
CN111328132B (zh) 一种发射功率的调整方法及电子设备
CN110443752B (zh) 一种图像处理方法和移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant