CN118172236A - 用于图像处理的方法、装置、设备和存储介质 - Google Patents

Abstract

根据本公开的实施例，提供了用于图像处理的方法、装置、设备和存储介质。在该方法中，在编辑界面的图像展示区域中呈现待处理的目标图像；基于用户对目标图像的变换操作，确定目标图像的变换信息，变换信息至少包括目标图像在图像展示区域中的旋转朝向；基于变换信息，在图像展示区域上呈现经变换的目标图像；以及响应于接收到图像扩展指令，通过对经变换的目标图像执行图像扩展，确定具有预定尺寸的扩展图像，预定尺寸大于经变换的目标图像的尺寸。以此方式，可以使用户根据创作需求自由旋转原图后得到扩图效果，从而提升了图像扩展的使用自由度。

Description

用于图像处理的方法、装置、设备和存储介质

技术领域

本公开的示例实施例总体涉及计算机领域，特别地涉及用于图像处理的方法、装置、设备和计算机可读存储介质。

背景技术

随着计算机技术的快速发展，图像扩展(有时也简称“扩图”)在图像领域中有着广泛的应用。图像扩展指的是在原图基础上进行内容增强、扩充新的图像内容。图像扩展可用于增强摄影作品、复原老照片、提升监控视频的画质，等等。另外，扩图还可以用于影像、无人驾驶、虚拟现实等领域，以提高图像的质量、实用性等。因此，期待基于扩图技术为图像处理带来更多可能性。

发明内容

在本公开的第一方面，提供了一种用于图像处理的方法。该方法包括：在编辑界面的图像展示区域中呈现待处理的目标图像；基于用户对目标图像的变换操作，确定目标图像的变换信息，变换信息至少包括目标图像在图像展示区域中的旋转朝向；基于变换信息，在图像展示区域上呈现经变换的目标图像；以及响应于接收到图像扩展指令，通过对经变换的目标图像执行图像扩展，确定具有预定尺寸的扩展图像，预定尺寸大于经变换的目标图像的尺寸。

在本公开的第二方面，提供了一种用于图像处理的装置。该装置包括：图像呈现模块，被配置为在编辑界面的图像展示区域中呈现待处理的目标图像；信息确定模块，被配置为基于用户对目标图像的变换操作，确定目标图像的变换信息，变换信息至少包括目标图像在图像展示区域中的旋转朝向；变换图像呈现模块，被配置为基于变换信息，在图像展示区域上呈现经变换的目标图像；以及图像确定模块，被配置为响应于接收到图像扩展指令，通过对经变换的目标图像执行图像扩展，确定具有预定尺寸的扩展图像，预定尺寸大于经变换的目标图像的尺寸。

在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以实现第一方面的方法。

在本公开的第五方面，提供了一种计算机程序产品。计算机程序产品被有形地存储在计算机存储介质中并且包括计算机可执行指令，计算机可执行指令在由设备执行时使设备执行第一方面的方法。

应当理解，本内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的实施例能够在其中实现的示例环境的示意图；

图2A至图2D示出了根据本公开的一些实施例的用于图像处理的示例界面的示意图；

图3示出了根据本公开的一些实施例的图像扩展指令的触发控件处于不可用状态的示例界面的示意图；

图4A至图4B示出了根据本公开的一些实施例的用于将目标图像放置在预定位置的示例界面的示意图；

图5示出了根据本公开的一些实施例的用于确定扩展图像的示例架构的示意图；

图6示出了根据本公开的一些实施例的用于图像处理的示例架构的示意图；

图7示出了根据本公开的一些实施例的用于图像处理的过程的流程图；

图8示出了根据本公开的某些实施例的用于图像处理的装置的示意性结构框图；以及

图9示出了能够实施本公开的一个或多个实施例的电子设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。

在本文中，除非明确说明，“响应于A”执行一个步骤并不意味着在“A”之后立即执行该步骤，而是可以包括一个或多个中间步骤。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得或使用)应当遵循相应法律法规及相关规定的要求。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获得和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。

如本文中所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联关系，从而在训练完成后可以针对给定的输入，生成对应的输出。模型的生成可以基于机器学习技术。深度学习是一种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出。神经网络模型是基于深度学习的模型的一个示例。在本文中，“模型”也可以被称为“机器学习模型”、“学习模型”、“机器学习网络”或“学习网络”，这些术语在本文中可互换地使用。

如上文简述，随着计算机技术的快速发展，扩图在图像领域中有着广泛的应用。目前的扩图技术可以实现等比扩图。然而，此种方式并不支持用户自由旋转、缩放原图后进行扩图。与之相应地，用户在图像展示区域(例如，画布)上移动原图的操作复杂，例如，不允许用户直接移动原图后在原始画布上扩图，在扩图的过程中，扩图的比例是扩图模板内置的，用户完全无法自由调整。

有鉴于此，本公开实施例提供了用于图像处理的改进方法。在该方案中，在编辑界面的图像展示区域中呈现待处理的目标图像，然后，基于用户对目标图像的变换操作，确定目标图像的变换信息。变换信息至少包括目标图像在图像展示区域中的旋转朝向。基于变换信息，在图像展示区域上呈现经变换的目标图像。随后，如果接收到图像扩展指令，则通过对经变换的目标图像执行图像扩展，确定具有预定尺寸的扩展图像。该预定尺寸大于经变换的目标图像的尺寸。以此方式，能够提升扩图使用自由度，用户可以根据创作需求自由旋转后得到扩图效果，在图像展示区域上移动原图的操作更便利，且支持用户得到扩图后的结果图片。

本公开的术语“作品”指代任意类型的媒体内容或媒体作品，其包含一类或多类内容，包括但不限于，音频文件，视频文件，图片文件、文本文件等。具体而言，作品可以为，短视频，音乐，图片，图片合辑，多媒体片段，视听资料，等等。本公开在此方面不受限制。

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。环境100包括一个或多个用户110-1、110-2、110-3、……、110-N可以通过各自相关联的终端设备120-1、120-2、120-3、……、120-N实现消息的收发。为便于讨论，用户110-1、110-2、110-3、……、110-N可以统称为或单独称为用户110，并且终端设备120-1、120-2、120-3、……、120-N可以统称为或单独称为终端设备120。在一些场景中，用户110可以通过相关联的终端设备120在目标平台中发布和评论作品。在一些场景中，用户110也称为作品的发布方。

终端设备120中可以安装有支持消息交互的应用125(也即终端设备120-1中安装有应用125-1、终端设备120-2中安装有应用125-2、终端设备120-3中安装有应用125-3、……、终端设备120-N中安装有应用125-N)。需要注意的是，安装在不同终端设备120中的应用125可以是完全相同的应用，也可以是不同的应用(例如版本不同)。应用125可以是任意适当的具有消息收发功能的应用，其例如可以为专用的聊天应用、社交类应用、内容分享类应用、内容(图像)编辑类应用、办公支持类应用等等。

在图1的环境100中，如果应用125处于活动状态，终端设备120可以呈现应用125的用户界面。这个用户界面可以包括应用125所能提供的各类界面，诸如支持消息交互的用户界面、支持内容浏览的用户界面、消息收发界面，等等。经由不同的用户界面，应用125可以向用户110提供不同的内容。经由适当的方式，诸如点击或选择用户界面中的任意适当元素，应用125还可以向用户110提供相关联内容的呈现方式的选择和切换。

在一些实施例中，不同的终端设备120还可以通过网络132与服务端设备130通信，以实现对应用125的服务的供应。在环境100中，目标模型135与服务端设备130通信，可以用于执行图像扩展。在一些示例中，服务端设备130可以通过调用目标模型135，为终端设备120中安装的应用125提供服务。在本公开的一些实施例中，针对图像的处理，例如对图像进行扩展时，服务端设备130可以响应于来自终端设备120的用户请求，调用目标模型135来处理图像，以将图像转换为变换后的图像。虽然图1中仅示出了单个目标模型135，但可以理解，取决于具体应用需要，可能存在更多模型，不同模型可能被配置为处理不同变换需求，或者提供应用125中的其他功能，等等。

终端设备120可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。在一些实施例中，终端设备120也能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。服务端设备130可以是能够提供计算能力的各种类型的计算系统/服务器，包括但不限于大型机、边缘计算节点、云环境中的计算设备，等等。

应当理解，仅出于示例性的目的描述环境100中各个元素的结构和功能，而不暗示对于本公开的范围的任何限制。

以下将详细描述本公开的各种示例实现。

下面参考图2A至图2D所示的示例界面/示例页面来描述图像处理的示例实施例。

仅为了更好地理解本公开的各个实施例，在下文的示例实施例中参考了图2A至图2D所示的示例界面201至204。图2A至图2D示出了根据本公开的一些实施例的用于图像处理的示例界面201至204的示意图。应当理解，图2A至图2D以及下文中其他附图所示出的用户界面仅仅是示例，实际可以存在各种设计。例如，用户界面中的各个图形元素和/或控件可以具有不同的布置和不同的视觉表示，其中的一个或多个元素和/或控件可以省略或被替换，并且还可以存在一个或多个其它元素和/或控件。此外，用户界面中可以包含任意适当的内容。本公开的范围在此方面不受限制。

在本公开的示例实施例中，示例界面201至204可以被呈现在终端设备120处，例如经由终端设备120的应用125来呈现。为便于讨论，将参考图1的环境100和示例界面201至204来根据本公开的一些实施。虽然描述了这些实施例可以被实现在图1的终端设备120处、特别是终端设备120的应用客户端处，但在另一些实施例中，终端设备120可以在服务端设备130的协助下执行这些操作。

在图像编辑界面中，终端设备120在图像展示区域中呈现待处理的目标图像。如图2A所示示例界面201，终端设备120在应用125所提供的图像展示区域(即“画布”212)中呈现用户110上传或拍摄的待处理的目标图像210。

在一些示例中，图像展示区域包括在应用页面中以一定高度和宽度属性来限定的可绘制区域或可视区域。在一些示例中，如果用户110上传或选择多个图像，则待处理的目标图像是当前正在查看和编辑的图像。

在一些实施例中，终端设备120根据用户对目标图像的变换操作，确定目标图像的变换信息。该变换信息至少包括目标图像在图像展示区域中的旋转朝向。在一些实施例中，终端设备120根据用户对目标图像的变换操作，确定目标图像的变换信息还可以指示包括：目标图像在图像展示区域中的位置、目标图像的缩放尺寸。例如，终端设备120根据用户110通过双手捏合，在图像展示区域中对待处理的目标图像进行旋转、移动、缩放，等等。

在一些实施例中，终端设备120根据变换信息，在图像展示区域上呈现经变换的目标图像。如图2B所示示例界面202，终端设备120根据其确定的变换信息，在图像展示区域上呈现变换后的目标图像220。

在一些实施例中，终端设备120响应于接收到图像扩展指令，通过对经过变换后的目标图像执行图像扩展，以确定具有预定尺寸的扩展图像。该预定尺寸大于经过变换后的目标图像的尺寸。

在一些实施例中，图像扩展(或“扩图”)，也称为图像生成或图像增强，是一种利用人工智能技术对图像进行放大、修复和增强的方法。图像扩展的原理是通过深度学习，让模型能够理解并模拟人类视觉系统对图像的处理方式，从而实现高保真度的图像放大和修复。在一些实施例中，可以训练和使用特定机器学习模型来执行图像扩展。这样的图像扩展有时也称为AI扩图。示例性地，AI扩图后扩展的图像部分可以与原始的图像构成衔接完整的图像画面。

在一些实施例中，预定尺寸可以是满屏尺寸(即占据全部图像展示区域的满屏尺寸)或者是3:4、1:1、16:9等尺寸。在一些实施例中，预定尺寸可以是默认的(例如，被默认为占据全部画面的满屏尺寸)，或者可以支持用户自由选择。例如，终端设备120支持用户选择3:4、1:1、或者16:9等尺寸。

如图2B和图2D所示示例界面202和204，终端设备120在图片编辑页的侧边栏区域221呈现用于发起图像扩展指令的相应控件211。如果用户110点击图2B中图像扩展的相应控件211，则终端设备120通过对经变换的目标图像执行图像扩展，能够确定具有比经变换的目标图像的尺寸更大的预定尺寸的扩展图像240。

在一些示例中，如果用户110点击图像扩展的相应控件211，则终端设备120通过对经变换的目标图像执行图像扩展，以确定扩展图像240。例如，终端设备120将图像展示区域内未被经变换的目标图像占据的其他区域，填充为与经变换的目标图像相关联的图像信息，以确定扩展图像240。扩展图像240包括新生成的更多内容。例如，在区域242和区域243内生成的与目标图像相关联的其他内容。

在一些示例中，扩图填充涉及的参数包括原图、原图位置、缩放倍数、旋转情况、图像展示区域大小，等等。终端设备120基于填充当前手机可视区域的填充效果，请求扩图结果。

在一些实施例中，终端设备120接收到来自用户110的图像扩展指令后，向服务端设备130发送图像扩展请求。服务端设备130根据其接收的图像扩展请求，生成扩展图像，并将扩展图像返回给终端设备120。在终端设备120与服务端设备130交互的链路上可使用特效包。下文将参考图5和图6对上述终端设备120与服务端设备130之间的交互进行详细说明。

在一些实施例中，终端设备120在从服务端设备130接收扩展图像之前，呈现图像扩展进度指示。如图2C所示示例界面203，终端设备120在接收到来自用户110的图像扩展指令后，且在从服务端设备130接收扩展图像之前，在区域230上呈现图像扩展进度指示230。例如，图像扩展进度指示230可以为“生成中30％”。

在一些示例中，终端设备120在呈现扩展进度指示230时，还呈现“取消”控件231，以支持用户110在服务端设备130生成扩展图像的过程中取消生成扩展图像。在一些示例中，如果服务端设备130生成扩展图像的时间超过预设时间(例如，10秒)且用户并未点击“取消”控件231，终端设备120将呈现提示信息，例如，“生成失败，请稍后重试”。

在一些实施例中，扩展图像是通过被配置为执行图像扩展的目标模型生成的。终端设备120接收到图像扩展指令，向服务端设备130发送图像扩展请求。服务端设备130根据其接收的图像扩展请求，可以通过被配置为执行图像扩展的目标模型生成扩展图像。

在一些实施例中，终端设备120响应于确定目标图像或经变换的目标图像在图像展示区域中尺寸小于预定尺寸，在呈现目标图像或经变换的目标图像的同时，提供用于触发图像扩展指令的触发控件。

在一些示例中，如果目标图像或者经变换的目标图像没有达到要扩展的预定尺寸(例如，满屏尺寸或其他用户选定的尺寸)，则终端设备120可以在页面中呈现图像扩展的相应控件211。由此，能够使用户110通过点击图像扩展的相应控件211，发起图像扩展指令。

在目标图像或经变换的目标图像所属屏幕的屏幕可视区域(例如，图像展示区域)都未撑满时，终端设备120在页面中呈现图像扩展的相应控件211。在多图或者幻灯片的场景下，如果多图或幻灯片中的至少一个图片片段满足屏幕可视区域未撑满，则终端设备120在页面中呈现图像扩展的相应控件211。

又例如，在目标图像或经变换的目标图像所属屏幕的屏幕可视区域宽度已被撑满，但屏幕可视区域(例如，比如为3:4、1:1、16:9的图像展示区域)的高度未被撑满时，终端设备120在页面中呈现图像扩展的相应控件211。

在一些实施例中，针对当前图像对应的屏幕可视区域未被撑满时，用户110可点击图像扩展的相应控件，以进行图像扩展。

在另一些实施例中，如果终端设备120确定目标图像或经变换的目标图像在图像展示区域中的尺寸等于或大于预定尺寸，则在页面中使得用于图像扩展指令的触发控件被呈现为不可用状态。

图3示出了根据本公开的一些实施例的图像扩展指令的触发控件处于不可用状态的示例界面300的示意图。如图3所示示例界面300，如果目标图像或者经变换的目标图像在图像展示区域中的尺寸(例如，满屏尺寸)等于或大于预定尺寸(例如，满屏尺寸或其他用户选定的尺寸)，则终端设备120在侧边栏区域312将图像扩展的相应控件312置灰，以表示图像扩展的相应控件312处于不可用状态。在不可用状态下，如果用户110点击图像扩展的相应控件312，则终端设备120将呈现提示信息，例如“全屏图片不支持扩图”。

在一些实施例中，终端设备120在图像展示区域中用扩展图像替换经变换的扩展图像。随后，如果检测到图像扩展取消指令，终端设备120在画面中呈现经变换的目标图像。

回顾图2B和2D所示示例界面202和204，终端设备120基于用户的图像扩展指令，通过对经变换的目标图像执行图像扩展，以确定具有预定尺寸的扩展图像240。然后，终端设备120在图像展示区域中用扩展图像240替换经变换后的扩展图像220。

与之相应地，终端设备120在图像展示区域中呈现扩展图像240时，在侧边栏同时将图像扩展的相应控件211呈现为取消图像扩展的相应控件241，以支持用户可以取消扩图效果。如果终端设备120检测到用户110点击取消图像扩展的相应控件241，则在画面中呈现经变换的目标图像220。

在一些实施例中，终端设备120在呈现扩展图像的同时，变换信息被存储。终端设备120根据存储的变换信息和目标图像，在画面中渲染经变换的目标图像。

在一些示例中，如果用户110点击取消图像扩展的相应控件241，则终端设备120将根据其存储的变换信息和目标图像，重新渲染为经变换的目标图像。例如，扩展图像生成成功后，如果用户110选择关闭扩图，终端设备120会将底图位置、旋转情况、缩放比例恢复到扩图前状态。

在一些示例中，用户110在选择关闭扩图之后，如果再次点击图像扩展的相应控件，将重新请求扩图结果。在扩图状态处于开启的情况下，如果用户将图片捏合缩放的更小，则背景暴露黑色。

在一些实施例中，终端设备120在页面中提供用于图像扩展指令的触发控件的同时，呈现针对触发控件的引导信息。在一些示例中，终端设备120在提供图像扩展指令的触发控件的同时，呈现的引导信息用于引导用户使用扩图功能。回顾图2B所示示例界面202，终端设备120在其呈现的图像扩展的相应控件211的同时，呈现引导信息224。例如，针对新用户，在呈现图像扩展的相应控件211的同时，呈现“新”字样。在用户点击图像扩展的相应控件211后，终端设备120将不再呈现“新”字样。

在另一些实施例中，在多图情况下使用扩图的功能，是针对当前图片的请求结果。即在请求过程中音乐继续播放，图片暂停在当前片段。如果在请求过程中取消和/或请求结束后，终端设备120从当前图片的开头处自动播放，音乐继续往后播放不出现跳转。

应当理解，虽然在附图的示例中示出了在发布媒体内容的过程中对图像的处理和图像扩展操作，但在其他实现方式中也可以任何其他支持图像编辑的应用或页面中提供根据本公开所提出的图像扩展实施例。

下文将继续参考图4A至4B描述确定具有预定尺寸的扩展图像。图4A至图4B示出了根据本公开的一些实施例的用于将目标图像放置在预定位置的示例界面401至402的示意图。

在一些实施例中，如果终端设备120确定经变换的目标图像的尺寸超过第一尺寸阈值，则终端设备120确定在将目标图像按第一预定比例缩放后和/或被放置在图像展示区域中的预定位置后得到第一变换图像。然后，通过对第一变换图像执行图像扩展，确定具有预定尺寸的扩展图像。

如图4A至图4B所示示例界面401至402，如果终端设备120检测到原图比例小于等于9:16(例如，3:4、1:1、4:3、16:9)，或检测到用户通过双指捏合放大了原图片，且使宽高都撑满了可视范围(可能还有超出)，则用原图缩小1.5倍、放置在图像展示区域中间去请求扩图效果。

在一些实施例中，如果终端设备120确定经变换的目标图像的尺寸低于第二尺寸阈值，则确定在将目标图像按第二预定比例缩放后和/或被放置在图像展示区域中的预定位置后得到的第二变换图像。然后，终端设备120通过对第二变换图像执行图像扩展，确定具有预定尺寸的扩展图像。

在一些示例中，如果终端设备120检测到在扩图前用户用双指捏合缩小，则判断缩小倍数是否小于1/3(即原图是捏合后三倍)。如果小于1/3，则终端设备120根据原图1/3且居于图像展示区域正中的情况请求扩图结果。

由此，针对原图被用户缩放得过大、过小的情况，终端设备120先帮用户自动调整放大、缩小到合适倍数，再呈现扩展图像。

以下为便于理解将参考图5描述确定具有预定尺寸的扩展图像的示例架构500。图5示出了根据本公开的一些实施例的用于确定扩展图像的示例架构500的示意图。图5所示的示例架构500属于下文将要参考图6描述的用于图像处理的示例架构中的“先前设置软件开发工具包(PresetSDK)”的内部处理过程。为便于理解一下先描述图5的示例架构500。以下为便于讨论将参考图1和图6进行描述。

在一些实施例中，终端设备120响应于接收到图像扩展指令，向服务端设备130发送图像扩展请求。该图像扩展请求包括在图像展示区域中呈现的经变换的目标图像，以及变换信息。然后，终端设备120从服务端设备130接收扩展图像。

如图5所示，在框511，终端设备120包括的客户端应用125基于带图像展示区域的经变换的目标图像，向先前设置软件开发工具包(PresetSDK)发送请求，以请求先前设置软件开发工具包接口。在框512，终端设备120包括的客户端应用125基于变换信息，向先前设置软件开发工具包(PresetSDK)发送请求，以请求先前设置软件开发工具包接口。在框513，在终端设备120通过先前设置软件开发工具包(PresetSDK)根据带图像展示区域的经变换的目标图像和图像展示区域的大小信息绘制掩码图。

在框514，终端设备120通过先前设置软件开发工具包根据带图像展示区域的经变换的目标图和掩码图，进行访问算法接口。在框515，终端设备120根据算法接口，获得算法返回的扩展图像。在框516，终端设备120通过先前设置软件开发工具包将扩展图像返回给客户端应用。

上文为便于理解参考图5描述了属于图6的用于图像处理的示例架构中的“先前设置软件开发工具包(PresetSDK)”的内部处理过程。以下为将参考图6描述基于终端设备120与服务端设备130的交互，以实现图像处理的示例架构600。图6示出了根据本公开的一些实施例的用于图像处理的示例架构600的示意图。以下为便于讨论将参考图1进行描述。

如图6所示示例架构600，客户端应用125、视频软件开发工具包620(VESDK)、先前设置软件开发工具包(PresetSDK)630可以被部署在终端设备120。包括应用程序接口(API)640可以被部署在服务端设备130。

首先，用户上传或者拍摄待处理的目标图像。并对待处理的图像进行自由旋转、缩放、移动等，以形成经变换的目标图像。客户端应用125将经变换的目标图像发送(611)至视频软件开发工具包620。视频软件开发工具包620根据用户上传或拍摄的经变换的目标图像进行渲染(612)上屏。

客户端应用125响应于用户对扩图相应控件的触发操作，将打包(613)图像信息。该图像信息包括待处理的目标图像、经变换的目标图像、变换信息。例如，客户端应用125收集待处理的目标图像旋转缩放、位移、裁剪信息以及待处理的目标图像和当前画面无编辑效果的图像展示区域图。

客户端应用125将打包后的图像信息发送(614)至先前设置软件开发工具包630。例如，客户端应用125带上其收集的待处理的目标图像旋转缩放、位移、裁剪信息以及待处理的目标图像和当前画面无编辑效果的图像展示区域图相关信息，请求先前设置软件开发工具包630的接口。

先前设置软件开发工具包630内部依据带图像展示区域的经变换的目标图像和图像展示区域的大小信息绘制掩码图。然后，先前设置软件开发工具包630根据带图像展示区域的经变换的图像和掩码图向应用程序接口640(例如，算法网关)发送(615)请求扩图结果。

应用程序接口640调用目标模型135生成扩展图像，并将扩展图像返回(616)给先前设置软件开发工具包630。随后，先前设置软件开发工具包630将应用程序接口640生成扩展图像返回(617)给客户端应用125。

客户端应用125呈现扩展图像，并记录(618)扩图前的变换信息，以支持扩图撤销。如果用户取消以生成的扩展图像，客户端应用125将其记录的扩图前的变换信息发送(619)至视频软件开发工具包620。视频软件开发工具包620将根据扩图前的变换信息，重新渲染为经变换的目标图像。

通过本公开，用户可以根据创作需求自由旋转原图后得到扩图效果，从而能够提升扩图使用自由度。例如，用户在自由旋转，及缩放、移动原图后，再选择进行扩图，最终得到的扩图后的结果。进一步地，在图像展示区域上移动原图的操作更便利，且支持用户得到扩图后的结果图片。

图7示出了根据本公开的一些实施例的用于图像处理的过程700的流程图。过程700可以被实现在终端设备120处。下面参考图1描述过程700。

在框710，终端设备120在编辑界面的图像展示区域中呈现待处理的目标图像。

在框720，终端设备120基于用户对目标图像的变换操作，确定目标图像的变换信息，变换信息至少包括目标图像在图像展示区域中的旋转朝向。在一些实施例中，变换信息还包括目标图像在图像展示区域中的位置、和/或目标图像的缩放尺寸。

在框730，终端设备120基于变换信息，在图像展示区域上呈现经变换的目标图像。

在框740，终端设备120响应于接收到图像扩展指令，通过对经变换的目标图像执行图像扩展，确定具有预定尺寸的扩展图像，预定尺寸大于经变换的目标图像的尺寸。

在一些实施例中，变换信息还包括以下至少一项：目标图像在图像展示区域中的位置，目标图像的缩放尺寸。

在一些实施例中，过程700还包括：响应于确定目标图像或经变换的目标图像在图像展示区域中尺寸小于预定尺寸，在呈现目标图像或经变换的目标图像的同时，提供用于触发图像扩展指令的触发控件。

在一些实施例中，过程700还包括：在页面中提供用于图像扩展指令的触发控件的同时，呈现针对触发控件的引导信息。

在一些实施例中，过程700还包括：响应于确定目标图像或经变换的目标图像在图像展示区域中尺寸等于或大于预定尺寸，在页面中使得用于图像扩展指令的触发控件被呈现为不可用状态。

在一些实施例中，确定具有预定尺寸的扩展图像包括：响应于确定经变换的目标图像的尺寸超过第一尺寸阈值，确定在将目标图像按第一预定比例缩放后和/或被放置在图像展示区域中的预定位置后得到的第一变换图像，以及通过对第一变换图像执行图像扩展，确定具有预定尺寸的扩展图像；以及响应于确定经变换的目标图像的尺寸低于第二尺寸阈值，确定在将目标图像按第二预定比例缩放后和/或被放置在图像展示区域中的预定位置后得到的第二变换图像，以及通过对第二变换图像执行图像扩展，确定具有预定尺寸的扩展图像。

在一些实施例中，确定具有预定尺寸的扩展图像包括：响应于接收到图像扩展指令，向服务端设备发送图像扩展请求，图像扩展请求包括在图像展示区域中呈现的经变换的目标图像，以及变换信息；以及从服务端设备接收扩展图像。

在一些实施例中，过程700还包括：在从服务端设备接收扩展图像之前，呈现图像扩展进度指示。

在一些实施例中，扩展图像是通过被配置为执行图像扩展的目标模型来生成的。

在一些实施例中，过程700还包括：在图像展示区域中用扩展图像替换经变换的扩展图像；以及响应于检测到图像扩展取消指令，在画面中呈现经变换的目标图像。

在一些实施例中，在呈现扩展图像的同时变换信息被存储，并且其中在画面中呈现经变换的目标图像包括：基于所存储的变换信息和目标图像，在画面中渲染经变换的目标图像。

图8示出了根据本公开的某些实施例的用于图像处理的装置800的示意性结构框图。装置800可以被实现为或者被包括在终端设备120中。装置800中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。

如图所示，装置800包括图像呈现模块810，被配置为在编辑界面的图像展示区域中呈现待处理的目标图像。

装置800还包括信息确定模块820，被配置为基于用户对目标图像的变换操作，确定目标图像的变换信息，变换信息至少包括目标图像在图像展示区域中的旋转朝向。在一些实施例中，变换信息还包括目标图像在图像展示区域中的位置、和/或目标图像的缩放尺寸。

装置800还包括变换图像呈现模块830，被配置为基于变换信息，在图像展示区域上呈现经变换的目标图像。

装置800还包括图像确定模块840，被配置为响应于接收到图像扩展指令，通过对经变换的目标图像执行图像扩展，确定具有预定尺寸的扩展图像，预定尺寸大于经变换的目标图像的尺寸。

在一些实施例中，变换信息还包括以下至少一项：目标图像在图像展示区域中的位置，目标图像的缩放尺寸。在一些实施例中，装置800还包括控件提供模块，被配置为响应于确定目标图像或经变换的目标图像在图像展示区域中尺寸小于预定尺寸，在呈现目标图像或经变换的目标图像的同时，提供用于触发图像扩展指令的触发控件。

在一些实施例中，装置800还包括信息呈现模块，被配置为在页面中提供用于图像扩展指令的触发控件的同时，呈现针对触发控件的引导信息。

在一些实施例中，装置800还包括状态呈现模块，被配置为响应于确定目标图像或经变换的目标图像在图像展示区域中尺寸等于或大于预定尺寸，在页面中使得用于图像扩展指令的触发控件被呈现为不可用状态。

在一些实施例中，图像确定模块840，还被配置为响应于确定经变换的目标图像的尺寸超过第一尺寸阈值，确定在将目标图像按第一预定比例缩放后和/或被放置在图像展示区域中的预定位置后得到的第一变换图像，以及通过对第一变换图像执行图像扩展，确定具有预定尺寸的扩展图像；以及响应于确定经变换的目标图像的尺寸低于第二尺寸阈值，确定在将目标图像按第二预定比例缩放后和/或被放置在图像展示区域中的预定位置后得到的第二变换图像，以及通过对第二变换图像执行图像扩展，确定具有预定尺寸的扩展图像。

在一些实施例中，图像确定模块840还被配置为响应于接收到图像扩展指令，向服务端设备发送图像扩展请求，图像扩展请求包括在图像展示区域中呈现的经变换的目标图像，以及变换信息；以及从服务端设备接收扩展图像。

在一些实施例中，装置800还包括指示呈现模块，被配置为在从服务端设备接收扩展图像之前，呈现图像扩展进度指示。

在一些实施例中，扩展图像是通过被配置为执行图像扩展的目标模型来生成的。

在一些实施例中，变换图像呈现模块630，还被配置为在图像展示区域中用扩展图像替换经变换的扩展图像；以及响应于检测到图像扩展取消指令，在画面中呈现经变换的目标图像。

在一些实施例中，在呈现扩展图像的同时变换信息被存储，并且变换图像呈现模块630，还被配置为基于所存储的变换信息和目标图像，在画面中渲染经变换的目标图像。

图9示出了示出了其中可以实施本公开的一个或多个实施例的电子设备900的框图。应当理解，图9所示出的电子设备900仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图9所示出的电子设备900可以用于实现图1的终端设备120或图8的装置800。

如图9所示，电子设备900是通用电子设备的形式。电子设备900的组件可以包括但不限于一个或多个处理器或处理单元910、存储器920、存储设备930、一个或多个通信单元940、一个或多个输入设备950以及一个或多个输出设备960。处理单元910可以是实际或虚拟处理器并且能够根据存储器920中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备900的并行处理能力。

电子设备900通常包括多个计算机存储介质。这样的介质可以是电子设备900可访问的任何可以获取的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器920可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备930可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备900内被访问。

电子设备900可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图9中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器920可以包括计算机程序产品925，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元940实现通过通信介质与其他电子设备进行通信。附加地，电子设备900的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备900可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备950可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备960可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备900还可以根据需要通过通信单元940与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备900交互的设备进行通信，或者与使得电子设备900与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

Claims (15)

1.一种用于图像处理的方法，包括：

在编辑界面的图像展示区域中呈现待处理的目标图像；

基于用户对所述目标图像的变换操作，确定所述目标图像的变换信息，所述变换信息至少包括所述目标图像在所述图像展示区域中的旋转朝向；

基于所述变换信息，在所述图像展示区域上呈现经变换的目标图像；以及

响应于接收到图像扩展指令，通过对所述经变换的目标图像执行图像扩展，确定具有预定尺寸的扩展图像，所述预定尺寸大于所述经变换的目标图像的尺寸。

2.根据权利要求1所述的方法，其中所述变换信息还包括以下至少一项：

所述目标图像在所述图像展示区域中的位置，

所述目标图像的缩放尺寸。

3.根据权利要求1所述的方法，还包括：

响应于确定所述目标图像或所述经变换的目标图像在所述图像展示区域中尺寸小于所述预定尺寸，在呈现所述目标图像或所述经变换的目标图像的同时，提供用于触发所述图像扩展指令的触发控件。

4.根据权利要求3所述的方法，还包括：

在所述页面中提供用于所述图像扩展指令的触发控件的同时，呈现针对所述触发控件的引导信息。

5.根据权利要求3所述的方法，还包括：

响应于确定所述目标图像或所述经变换的目标图像在所述图像展示区域中尺寸等于或大于所述预定尺寸，在所述页面中使得用于所述图像扩展指令的触发控件被呈现为不可用状态。

6.根据权利要求1所述的方法，其中确定具有预定尺寸的扩展图像包括：

响应于确定所述经变换的目标图像的尺寸超过第一尺寸阈值，

确定在将所述目标图像按第一预定比例缩放后和/或被放置在所述图像展示区域中的预定位置后得到的第一变换图像，以及

通过对所述第一变换图像执行图像扩展，确定具有预定尺寸的扩展图像；以及

响应于确定所述经变换的目标图像的尺寸低于第二尺寸阈值，

确定在将所述目标图像按第二预定比例缩放后和/或被放置在所述图像展示区域中的预定位置后得到的第二变换图像，以及通过对所述第二变换图像执行图像扩展，确定具有预定尺寸的扩展图像。

7.根据权利要求1所述的方法，其中确定具有预定尺寸的扩展图像包括：

响应于接收到图像扩展指令，向服务端设备发送图像扩展请求，所述图像扩展请求包括在所述图像展示区域中呈现的所述经变换的目标图像，以及所述变换信息；以及

从所述服务端设备接收所述扩展图像。

8.根据权利要求7所述的方法，还包括：

在从所述服务端设备接收所述扩展图像之前，呈现图像扩展进度指示。

9.根据权利要求1所述的方法，其中所述扩展图像是通过被配置为执行图像扩展的目标模型来生成的。

10.根据权利要求1所述的方法，还包括：

在所述图像展示区域中用所述扩展图像替换所述经变换的扩展图像；以及

响应于检测到图像扩展取消指令，在所述画面中呈现所述经变换的目标图像。

11.根据权利要求10所述的方法，其中在呈现所述扩展图像的同时所述变换信息被存储，并且其中在所述画面中呈现所述经变换的目标图像包括：

基于所存储的所述变换信息和所述目标图像，在所述画面中渲染所述经变换的目标图像。

12.一种用于图像处理的装置，包括：

图像呈现模块，被配置为在编辑界面的图像展示区域中呈现待处理的目标图像；

信息确定模块，被配置为基于用户对所述目标图像的变换操作，确定所述目标图像的变换信息，所述变换信息至少包括所述目标图像在所述图像展示区域中的旋转朝向；

变换图像呈现模块，被配置为基于所述变换信息，在所述图像展示区域上呈现经变换的目标图像；以及

图像确定模块，被配置为响应于接收到图像扩展指令，通过对所述经变换的目标图像执行图像扩展，确定具有预定尺寸的扩展图像，所述预定尺寸大于所述经变换的目标图像的尺寸。

13.一种电子设备，包括：

至少一个处理单元；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述电子设备执行根据权利要求1至10中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可由处理器执行以实现根据权利要求1至10中任一项所述的方法。

15.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机存储介质中并且包括计算机可执行指令，计算机可执行指令在由设备执行时使设备执行根据权利要求1至10中任一项所述的方法。