CN113034348A - 图像处理方法、装置、存储介质及设备 - Google Patents

Abstract

本公开实施例公开了图像处理方法、装置、存储介质及设备。该方法包括：获取原始图像的扩展方向上的边缘图像信息；根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式；采用所述目标扩展方式对所述原始图像进行处理，得到目标图像。通过采用上述技术方案，针对于需要进行扩展的原始图像，可以根据扩展方向上的边缘图像信息来灵活选取更加合适的扩展方式，相比于固化地采用单一的扩展方式来说，可以实现更有针对性的扩展处理，得到扩展效果更好的扩展后的目标图像。

Description

图像处理方法、装置、存储介质及设备

技术领域

本公开实施例涉及图像处理技术领域，尤其涉及图像处理方法、装置、存储介质及设备。

背景技术

图像中可以包含丰富的内容和信息，是一种常见的信息载体。图像的来源非常广泛，例如通过图像采集装置拍摄或通过制图软件绘制等等。图像的使用场景也非常多样化，而图像生成完毕后在一些使用场景中往往需要进行调整，以适应当前使用场景的个性化需求，例如适应版面要求或匹配显示区域尺寸等等。

目前，常见的调整方式包括裁剪和放缩等，然而裁剪方式往往会使得图像的部分信息丢失，而放缩方式得到的图像经常会产生失真的形变。为了解决上述常规调整方式所带来的问题，出现了在原始图像基础上进行扩展的方案，例如可以在原始图像的外侧增加扩展区域，并对扩展区域进行纯色或渐变填充的方式，得到更大尺寸的图像，然而，现有的扩展方案得到的扩展图像的效果仍不够理想，需要改进。

发明内容

本公开实施例提供了图像处理方法、装置、存储介质及设备，可以优化现有的图像扩展处理方案。

第一方面，本公开实施例提供了一种图像处理方法，包括：

获取原始图像的扩展方向上的边缘图像信息；

根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式；

采用所述目标扩展方式对所述原始图像进行处理，得到目标图像。

第二方面，本公开实施例提供了一种图像处理装置，包括：

边缘图像信息获取模块，用于获取原始图像的扩展方向上的边缘图像信息；

扩展方式选择模块，用于根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式；

图像扩展处理模块，用于采用所述目标扩展方式对所述原始图像进行处理，得到目标图像。

第三方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例提供的图像处理方法。

第四方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本公开实施例提供的图像处理方法。

本公开实施例中提供的图像处理方案，获取原始图像的扩展方向上的边缘图像信息，根据边缘图像信息从至少两个候选扩展方式中选择目标扩展方式，采用目标扩展方式对原始图像进行处理，得到目标图像。通过采用上述技术方案，针对于需要进行扩展的原始图像，可以根据扩展方向上的边缘图像信息来灵活选取更加合适的扩展方式，相比于固化地采用单一的扩展方式来说，可以实现更有针对性的扩展处理，得到扩展效果更好的扩展后的目标图像。

附图说明

图1为本公开实施例提供的一种图像处理方法的流程示意图；

图2为本公开实施例提供的一种图像扩展示意图；

图3为本公开实施例提供的一种图像处理方法的流程示意图；

图4为本公开实施例提供的一种掩码图像生成过程示意图；

图5为本公开实施例提供的一种图像处理方法的流程示意图；

图6为本公开实施例提供的一种基于生成对抗式神经网络的图像处理过程示意图；

图7为本公开实施例提供的一种扩展顺序示意图；

图8为本公开实施例提供的一种图像扩展处理流程示意图；

图9为本公开实施例提供的一种图像处理对比示意图；

图10为本公开实施例提供的一种图像处理装置的结构框图；

图11为本公开实施例提供的一种计算机设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。

图1为本公开实施例提供的一种图像处理方法的流程示意图，该方法可以由图像处理装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。本公开实施例所适用的具体场景不做限定，可以是离线图像编辑场景，也可以是在线图像编辑场景，例如可以是对已经生成完毕的图像进行扩展，以适应当前的显示场景的情况，如适应版面要求或匹配显示区域尺寸等等。如图1所示，该方法包括：

步骤101、获取原始图像的扩展方向上的边缘图像信息。

本公开实施例中的扩展可理解为通过扩充图像内容来扩大图像尺寸，而不是通过放大操作等保持原有图像内容不变的方式来扩大图像尺寸。原始图像可以理解为本次扩展处理过程中需要进行扩展的图像，本公开实施例对原始图像的来源不做限定，例如可以是通过摄像头等图像采集装置拍摄得到的图像，可以通过制图软件绘制的图像，可以是设备本地存储的图像，还可以是通过网络等获取的图像等等，原始图像还可以是已经经过一次或多次扩展处理之后的图像。

原始图像的形状具体不做限定，一般为多边形，当然也可以是圆形或者其他不规则的形状。扩展方向可以根据当前的扩展需求来确定，可将在原始图像基础上增加的图像内容的所在区域称为扩展区域，根据扩展区域与原始图像之间的相对位置关系来确定扩展方向。为了便于说明，下面以较为常见的矩形图像为例，矩形存在四条边界，每条边界均可存在对应的扩展区域。图2为本公开实施例提供的一种图像扩展示意图，如图2所示，原始图像201的右边界存在对应的扩展区域202，扩展区域202的左边界与原始图像201的右边界重合，原始图像201的右边界的垂直方向且指向原始图像201外侧的方向为扩展区域202对应的扩展方向203，也可理解为在原始图像201的基础上水平向右扩展，扩展区域202内的图像内容为新增的图像内容，该新增图像内容与原始图像201中的图像内容可以存在联系，但是一般不完全相同。

示例性的，边缘图像信息可包括与扩展方向对应的原始图像的边缘区域的图像信息，图像信息可以包括像素值、亮度或图像内容等等，具体不做限定。边缘区域可以根据原始图像与扩展区域的交接位置确定，具体可以是处于原始图像边界附近的一块图像区域，该边缘区域的具体尺寸不做限定，可以根据原始图像的形状、尺寸以及当前的扩展需求等确定。参见图2，当原始图像201为矩形时，边缘区域204可以是高度与原始图像201相同、宽度小于原始图像201、且右边界与原始图像201的右边界重合的矩形。

步骤102、根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式。

本公开实施例中，可以预先设置多个候选扩展方式，对候选扩展方式的具体内容不做限定，在具体实施时可根据实际需求进行设置。候选扩展方式例如可包括：采用预设图像对扩展区域进行填充，对扩展区域进行纯色填充，对扩展区域进行渐变填充，复制原始图像的边缘像素到扩展区域中，将原始图像全部或部分输入至神经网络模型中得到扩展图像等等，还可以是上述方式的任意组合。

示例性的，根据边缘图像信息从至少两个候选扩展方式中选择目标扩展方式，目标扩展方式可以是一个或多个，具体不做限定。由于边缘图像信息可以反映原始图像和扩展区域交界处的图像情况，例如可以反映边缘区域的图像内容复杂度、明暗程度或扩展难度等等，因此，可以根据边缘图像信息更加有针对性地选取目标扩展方式，具体的选择依据可以根据实际情况设置。

步骤103、采用所述目标扩展方式对所述原始图像进行处理，得到目标图像。

示例性的，在根据边缘图像信息有针对性地合理选择了目标扩展方式后，采用目标扩展方式对原始图像进行处理，所得到的目标图像具有更好的扩展效果。具体的处理过程可以由所选的目标扩展方式决定，此处暂不做展开说明。

本公开实施例中提供的图像处理方法，获取原始图像的扩展方向上的边缘图像信息，根据边缘图像信息从至少两个候选扩展方式中选择目标扩展方式，采用目标扩展方式对原始图像进行处理，得到目标图像。通过采用上述技术方案，针对于需要进行扩展的原始图像，可以根据扩展方向上的边缘图像信息来灵活选取更加合适的扩展方式，相比于固化地采用单一的扩展方式来说，可以实现更有针对性的扩展处理，得到扩展效果更好的扩展后的目标图像。

在一些实施例中，所述至少两个候选扩展方式中包括第一方式和第二方式，所述第一方式基于针对边缘像素进行复制来实现，所述第二方式基于神经网络模型来实现；所述根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式，包括：根据所述边缘图像信息确定边缘区域的图像内容的复杂度；当所述复杂度低于或等于第一预设复杂度时，将所述第一方式确定为目标扩展方式；当所述复杂度高于第二预设复杂度时，将所述第二方式确定为目标扩展方式，其中，所述第二预设复杂度高于或等于所述第一预设复杂度。这样设置的好处在于，可以更加合理地设置候选扩展方式以及针对当前的原始图像选择合适的目标扩展方式。需要说明的是，至少两个候选扩展方式中除上述所述第一方式和第二方式以外，还可包括第三方式等其他方式，当第二预设复杂度高于第一预设复杂度时，若边缘区域的图像内容的复杂度处于第一预设复杂度和第二预设复杂度之间，则可以采用第三方式等其他方式作为目标扩展方式。为便于说明，下面以至少两个候选扩展方式中包括第一方式和第二方式，第二预设复杂度等于第一预设复杂度为例进行后续说明，并统称为预设复杂度。

图3为本公开实施例提供的一种图像处理方法的流程示意图，在上述各可选实施例基础上进行优化，如图3所示，该方法可包括：

步骤301、获取原始图像的扩展方向上的边缘图像信息。

步骤302、根据边缘图像信息确定边缘区域的图像内容的复杂度。

示例性的，可以用第一指标和第二指标衡量所述复杂度。第一指标包括边缘区域的像素值的均方差，均方差越大，对应的复杂度越高；第二指标包括边缘区域的灰度值，灰度值越大，对应的复杂度越低。这样设置的好处在于，可以更加合理地量化复杂度，从而更加精准地确定目标处理方式。

示例性的，当像素值以多个通道表示时，像素值的均方差可以包括每个通道的数值的均方差(又称均方误差，Mean Square Error，简称MSE)。以RGB格式为例，其中R表示红色(red)，G表示绿色(green)，B表示蓝色(blue)，像素值的均方差可表示为这三个通道各自数值的均方差，例如，可记为r_mse，g_mse和b_mse，其中，r表示红色通道的数值，g表示绿色通道的数值，b表示蓝色通道的数值。此外，像素值的均方差还可以根据每个通道的均方差计算得到，计算方式如求平均值等，具体不做限定。

示例性的，边缘区域的灰度值可以理解为浅色指标，可记为grey_lev，具体计算方式可根据实际情况设置。以RGB格式为例，计算方式可以是grey_lev＝r*0.299+g*0.587+b*0.114，其中，r表示红色通道的数值，g表示绿色通道的数值，b表示蓝色通道的数值。其中，各通道的数值可以是所有像素点对应的平均值，此时得到的灰度值可直接作为边缘区域的灰度值；也可以按照单个像素分别计算对应的灰度值，然后再针对所有像素的灰度值进行进一步计算(如求平均值等)，得到边缘区域的灰度值。

步骤303、判断复杂度是否低于或等于预设复杂度，若是，则执行步骤304；否则，执行步骤305。

示例性的，预设复杂度的表征方式可以与复杂度相同，可以设定各个指标对应的阈值，进而进行复杂度的判定。可选的，第一指标对应的阈值为第一预设复杂度阈值，第二指标对应的阈值为第二预设复杂度阈值。当第一指标小于或等于第一预设复杂度阈值(当存在多个通道时，可以是每个通道对应的均方差均小于或等于第一预设复杂度阈值)或者第二指标大于或等于第二预设复杂度阈值时，可确定复杂度低于或等于预设复杂度。例如，第一预设复杂度阈值为40，第二预设复杂度阈值为192，则当RGB三个通道对应的均方差均小于或等于40，或者边缘区域的灰度值大于或等于192时，可确定复杂度低于或等于预设复杂度，具体可表示为r_mse≤40且g_mse≤40且b_mse≤40，或者，grey_lev≥192。

步骤304、将第一方式确定为目标扩展方式。

其中，第一方式基于针对边缘像素进行复制来实现，其中，边缘像素可包括边缘区域内的全部像素或部分像素。对于图像内容比较简单的情况采用第一方式，可以快速生成效果较理想的目标图像。

步骤305、将第二方式确定为目标扩展方式。

其中，第二方式基于神经网络模型来实现。神经网络模型对图像信息可以有较强的学习和生成能力，更加适合于进行复杂图像内容的扩展。本公开实施例对于神经网络模型的具体类型或结构等不做限定，例如可以基于生成对抗式网络(GenerativeAdversarial Networks，GAN)实现，还可以是基于变分自动编码器(Variational Auto-Encoder，VAE)实现，基于变换模型(Transformer)实现，基于补丁匹配(patch match)实现等等。发明人经过大量研究发现，对于神经网络模型来说，如果图像内容过于简单，反而最后生成的目标图像的效果并不理想，因为经常会生成很多额外的图像噪点信息。

步骤306、采用目标扩展方式对所述原始图像进行处理，得到目标图像。

示例性的，当目标扩展方式为第一方式时，可以对边缘像素进行复制，并填充到扩展区域内。例如，以扩展方向为水平向右为例，可以复制最右边缘一列的像素，然后对于每一个像素来说，横向填充一行。也就是说，对于扩展区域中的每一行像素，像素值相同，且等于与该行最接近的原始图像的边界上的像素的像素值。这样处理后的效果直观上的感受是对原始图像进行了拉伸，也可称为拉伸处理方式。此外，在采用复制填充的方式对扩展区域进行填充后，还可以针对整个扩展区域进行高斯滤波等操作，使得原始图像到扩展区域的过渡更加自然，这样处理后的效果直观上的感受是对原始图像进行了拉伸和渐变处理，也可称为渐变拉伸处理方式。

示例性的，当目标扩展方式为第二方式时，可以将原始图像或原始图像中的部分图像输入至目标图像生成网络中，得到目标图像，或者得到包含扩展区域图像内容的生成图像，在生成图像基础上可以截取扩展图像并与原始图像进行拼接，得到目标图像。

本公开实施例提供的图像处理方法，通过对边缘区域的图像内容的复杂度进行判定，进而选择合适的目标扩展方式，结合基于针对边缘像素进行复制来实现的第一方式以及基于神经网络模型来实现的第二方式，可以利用两种处理方式各自的优点，使得边缘图像复杂度不同的原始图像均能够得到较好的扩展效果。

在一些实施例中，当所述目标扩展方式包括所述第二方式时，所述采用所述目标扩展方式对所述原始图像进行处理，包括：根据所述扩展方向对应的扩展长度从所述原始图像中截取原始子图像；根据所述原始子图像生成掩码图像，其中，所述掩码图像的尺寸大于所述原始子图像的尺寸；将所述原始子图像和所述掩码图像输入至目标图像生成网络中，得到所述目标图像生成网络输出的生成图像；从所述生成图像中截取扩展图像，并根据所述原始图像和所述扩展图像生成目标图像。这样设置的好处在于，更加有针对性地选取原始图像中的部分图像作为模型输入，可以得到更加准确的扩展结果。需要说明的是，所截取的原始子图像可能是原始图像的部分图像，也可能是原始图像本身，也即原始子图像与原始图像重合

示例性的，扩展长度可以根据实际的扩展需求来设定，如图2所示，扩展方向203对应的扩展长度可以是扩展区域202的宽度，也即扩展区域202的上边界和下边界的长度。在进行原始子图像截取时，可以根据扩展长度和第一预设比例值的乘积来确定原始子图像的在扩展长度方向上的尺寸，第一预设比例值可自由设置，例如2.5。图4为本公开实施例提供的一种掩码图像生成过程示意图，如图4所示，从原始图像201中截取原始子图像205，掩码图像的尺寸可以根据模型特点进行设置，一般的，正方形的掩码图像对于神经网络模型更加友好，可以将掩码图像的尺寸设置为正方形，此时，掩码图像的边长可以等于原始子图像的长边的边长，如图4所示，掩码图像206的形状为正方形，边长等于原始子图像205的长边的边长，也即原始图像201的高度，掩码图像206中的黑色区域207为对应原始子图像205的部分，也可称为黑色范围或原图范围，掩码图像206中的白色区域208为对应扩展区域的部分，可称为白色范围或扩展范围。

在目标图像生成网络输出的生成图像后，可以按需截取得到扩展图像，扩展图像的尺寸可以与扩展区域的尺寸相同，也可以大于扩展区域的尺寸，若大于，则可以与原始图像形成重叠区域，更有利于后续的融合处理。其中，重叠区域的形成是因为扩展图像在扩展方向上的边界长度大于所需要扩展的长度，因此，为了使得目标图像的尺寸与预期尺寸一致，所以扩展图像需要与原始图像的部分区域重叠，从而形成重叠区域。

示例性的，根据所述原始图像和所述扩展图像生成目标图像，具体可以是将原始图像和扩展图像拼接或融合，使得得到的目标图像符合当前的尺寸预期。

在一些实施例中，所述目标图像生成网络通过对预设网络模型进行训练得到，所述预设网络模型基于生成对抗式网络实现。抗式生成网络对图像信息有着极强的学习和生成能力，对于复杂图像的扩展可以取得更佳的效果。在针对预设网络模型进行训练的过程中，可以划分为多个训练阶段，也即预设网络模型的训练过程涉及多个训练阶段，从第一个训练阶段至最后一个训练阶段，各训练阶段对应的损失函数的种类依次增加。这样设置的好处在于，可以更高效地训练模型。

示例性的，第一个训练阶段包括重建损失函数，第二个训练阶段包括重建损失函数、对抗损失函数和感知损失函数，第三个训练阶段包括重建损失函数、对抗损失函数、感知损失函数和结构信息损失函数。第一个训练阶段，也即初期，仅设置重建损失函数，使得模型能够较快收敛学习到一些粗粒度的信息；第二个训练阶段，也即中期，增加对抗损失函数(adv_loss)和感知损失函数(perceptual loss)，针对生成的部分的细节进行优化；第三个训练阶段，增加结构信息损失函数(structure similarity，简称SSIM)，提升生成效果的亮度和对比度。

在一些实施例中，在针对预设网络模型进行训练的过程中，训练样本可以来自于开源的图像库或者根据实际需求收集到的图像。为了提高扩展的鲁棒性，也即扩展时并非固定的比例，可以对训练样本进行随机的设置掩膜图像的白色范围在掩码图像中的比例(如0.1～0.45之间)。

在一些实施例中，在所述将所述原始子图像和所述掩码图像输入至目标图像生成网络中之前，还包括：对所述原始图像进行图像风格识别，得到目标图像风格；根据所述目标图像风格查询预设对应关系，以获取目标图像生成网络，其中，所述预设对应关系中包含不同图像风格与图像生成网络的对应关系。这样设置的好处在于，对于不同风格的图像来说，可以分别训练得到对应风格的图像生成网络，使得目标图像生成网络输出的生成图像更加符合原始图像的风格特点。其中，图像风格的划分方式不做限定，例如可以包括自然风景类型、手绘风格类型、漫画类型、人物类型以及建筑物类型等等。可选的，对所述原始图像进行图像风格识别时，可以利用图像风格分类模型来完成，图像风格分类模型例如可以是卷积神经网络(Convolutional Neural Networks，CNN)图像分类模型。

在一些实施例中，若需要按照图像风格设置多个图像生成网络时，初期和中期的训练样本可以咱不进行类别划分，提高训练效率，后期再按照图像风格类别选择对应的分类训练样本对中期训练完成的中间图像生成网络进行训练，得到相应图像风格对应的图像生成网络。

在一些实施例中，所述根据所述原始图像和所述扩展图像生成目标图像，包括：对所述原始图像和所述扩展图像进行像素加权拼接处理，以生成目标图像；其中，对于所述原始图像和所述扩展图像的重叠区域中的各像素位置，对应的第一像素的权重大小与相对于所述原始图像的距离成负相关关系，对应的第二像素的权重大小与相对于所述原始图像的距离成正相关关系，所述第一像素来源于所述原始图像，所述第二像素来源于所述扩展图像。也就是说，将扩展图像与原始图像进行渐变融合，对原始图像与扩展图像的接缝进行像素点权重混合，越靠近原始图像的部分，原始图像的像素权重越高，靠近扩展图像的部分，扩展图像的权重更高，从而完成渐变的融合。这样设置的好处在于，可以使得原始图像和扩展图像的过渡更加自然，进一步提升目标图像的图像质量和效果。

图5为本公开实施例提供的一种图像处理方法的流程示意图，在上述各可选实施例基础上进行优化，如图5所示，该方法可包括：

步骤501、获取原始图像的扩展方向上的边缘图像信息。

示例性的，在本步骤之前，还可先获取原始图像，以及获取原始图像对应的扩展目标信息，扩展目标信息例如可包括扩展方向、扩展区域的尺寸和位置等。其中，扩展目标信息可以根据由计算机设备根据当前场景的需求自动设定，也可以根据接收到的用户输入信息来设定。当扩展区域尺寸较大时，例如远大于原始图像的尺寸时，可能使得扩展效果很差，此时可返回提示信息或返回错误信息等。

示例性的，对于矩形的原始图像来说，可以先判断与扩展方向平行的边界的长度是否大于或等于与扩展方向垂直的边界的长度，若是，则允许进入后续流程；若否，则可继续判断与扩展方向平行的边界的长度是否大于或等于与扩展方向垂直的边界的长度的第二预设比例值(小于1，例如可以是0.6)，若是，则允许进入后续流程；若否，则可返回无法处理信息，并结束流程。

示例性的，边缘图像信息可以是预设像素宽度的边缘区域内的各像素的像素值，预设像素宽度例如可以是3个像素宽度，例如可以是原始图像中最靠近扩展区域的边界处的3行或3列像素。

步骤502、根据边缘图像信息确定边缘区域的像素值均方差和灰度值。

步骤503、判断是否满足像素值均方差小于或等于预设均方差阈值；若是，则执行步骤505；否则，执行步骤504。

需要说明的是，也可先进行灰度值的判定，再进行像素值均方差的判定，具体顺序不做限定。

步骤504、判断是否满足灰度值大于或等于预设灰度值阈值，若是，则执行步骤505；否则，执行步骤506。

可选的，也可在步骤503和步骤504的两个判定条件的判定结果均为是的情况下，执行步骤505，否则，执行步骤506。

步骤505、利用边缘像素对扩展区域进行填充，得到目标图像。

示例性的，可以复制原始图像中最靠近扩展区域的边界处的1行或1列像素，针对每个像素值，以列或行为单位，对扩展区域进行填充。在将扩展区域填满之后，还可对扩展区域进行高斯滤波操作。

此外，此处所填充的扩展区域(填充后的图像可称为扩展图像)也可以比实际需要扩展的区域大一些，这样，原始图像和扩展图像可以存在重叠区域，针对重叠区域进行加权拼接处理，使得边界过渡更加自然。

示例性的，利用边缘像素对扩展区域进行填充，得到扩展图像，根据所述原始图像和所述扩展图像生成目标图像。具体的，对所述原始图像和所述扩展图像进行像素加权拼接处理，以生成目标图像；其中，对于所述原始图像和所述扩展图像的重叠区域中的各像素位置，对应的第一像素的权重大小与相对于所述原始图像的距离成负相关关系，对应的第二像素的权重大小与相对于所述原始图像的距离成正相关关系，所述第一像素来源于所述原始图像，所述第二像素来源于所述扩展图像。

步骤506、根据扩展方向对应的扩展长度从原始图像中截取原始子图像。

可选的，若与扩展方向平行的边界的长度小于与扩展方向垂直的边界的长度，且大于或等于与扩展方向垂直的边界的长度的第二预设比例值，则也可省略截取步骤，也即，将原始图像直接作为原始子图像进行后续操作。另外，本步骤也可以在步骤502之前进行，作为图像预处理部分。

步骤507、根据原始子图像生成掩码图像。

其中，所述掩码图像的尺寸大于所述原始子图像的尺寸。

步骤508、对原始图像进行图像风格识别，得到目标图像风格，并根据目标图像风格查询预设对应关系，以获取目标图像生成网络。

其中，目标图像生成网络通过对预设网络模型进行训练得到，预设网络模型基于生成对抗式网络实现。

步骤509、将原始子图像和掩码图像输入至目标图像生成网络中，得到目标图像生成网络输出的生成图像。

步骤510、从生成图像中截取扩展图像，并根据原始图像和扩展图像生成目标图像。

图6为本公开实施例提供的一种基于生成对抗式神经网络的图像处理过程示意图，如图6所示，最左侧输入的是原始子图像和掩码图像，上面的是原始子图像，下面的是掩码图像，经过生成对抗式神经网络的处理后，输出的生成图像与掩码图像的尺寸一致，在生成图像基础上按需裁剪，得到扩展图像。

本公开实施例提供的图像处理方法，根据边缘图像信息确定边缘区域的像素值均方差和灰度值，进而根据均方差和灰度值选择合适的目标扩展方式，采用边缘像素复制填充的方式来处理边缘图像较简单的原始图像，采用生成式对抗网络来处理边缘图像较复杂的原始图像，在采用生成式对抗网络进行处理前，还通过图像风格识别来选择风格更加匹配的模型，可以利用不同处理方式各自的优点，使得边缘图像复杂度不同的原始图像均能够得到较好的扩展效果。

在一些实施例中，当存在多个扩展方向时，所述方法还包括：获取所述多个扩展方向中的各个扩展方向分别对应的扩展比例，其中，所述扩展比例包括扩展方向对应的扩展长度与扩展方向对应的原始图像边长的比值；按照所述扩展比例从小至大的顺序依次确定当前的扩展方向，其中，从排序第二的扩展方向起，当前的扩展方向所对应的原始图像为上一个扩展方向对应的目标图像。这样设置的好处在于，采用顺次扩展的方式，保证每次扩展能够参考更多的原始图像信息，使得扩展部分与原始图像更加协调。

图7为本公开实施例提供的一种扩展顺序示意图，如图7所示，假设初始的原始图像为0，对0进行上下左右的扩展，向上的扩展方向的扩展长度为图中1的高度，向下的扩展方向的扩展长度为图中4的高度，向左的扩展方向的扩展长度为图中3的宽度，向右的扩展方向的扩展长度为图中2的宽度，向上的扩展比例为1的高度与0的高度的比值k1，向下的扩展比例为4的高度与0的高度的比值k4，向左的扩展比例为3的高度与0的宽度的比值k3，向右的扩展比例为2的高度与0的宽度的比值k2，假设k1<k2<k3<k4，则扩展方向的排序为向上、向右、向左和向下，按照此顺序依次扩展。1在0基础上扩展，也即在采用目标扩展方式对原始图像进行处理时，向上的扩展方向对应的原始图像为0，得到的目标图像为0和1拼接后的图像；2在0和1基础上扩展，也即在采用目标扩展方式对原始图像进行处理时，向右的扩展方向对应的原始图像为0和1拼接后的图像；以此类推，3在0、1和2基础上扩展；4在0、1、2和3基础上扩展。

需要说明的是，对于矩形的原始图像来说，若存在两个同一直线上的扩展方向，例如宽度上的水平向左和水平向右，由于所参考的原始图像的边缘一般不相关，则可以无需确定扩展的先后顺序。

下面以在宽度方向上左右扩展为例进行进一步说明，左右扩展的先后顺序可以不做限定。图8为本公开实施例提供的一种图像扩展处理流程示意图，如图8所示，向图像预处理模块输入原始图像和需要扩展的方向为宽度方向，以及输入两个扩展方向上的扩展范围，也即扩展长度，其中，可以对扩展长度进行限制，例如扩展长度<＝0.4*min(w，h)。图像预处理模块会先进行原始图像是否满足基本的扩展条件的判定，并在满足扩展条件且需要进行裁剪时，在图像预处理模块进行原始子图像的裁剪，随后计算边缘图像的用于衡量内容复杂度的指标。当图像内容较简单时，由渐变拉伸模块进行处理，得到扩展图像；当图像内容较复杂时，先由风格分类模块进行风格分类，随后选择风格匹配的图像扩展生成模型来生成扩展图像。最后，由图像拼接融合模块对扩展部分(也即扩展图像)与原始图像进行渐变融合，最终输出扩展完成结果图像，也即目标图像。

图9为本公开实施例提供的一种图像处理对比示意图，图9上面为原始图像，下面为目标图像，从原始图像可以看出左右两个方向上的边缘图像比较复杂，均可采用第二方式进行扩展，在扩展时可以选择对应自然风景风格的目标生成网络，从而得到较好的扩展效果。

图10为本公开实施例四提供的一种图像处理装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行图像处理方法来进行图像处理。如图10所示，该装置包括：

边缘图像信息获取模块1001，用于获取原始图像的扩展方向上的边缘图像信息；

扩展方式选择模块1002，用于根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式；

图像扩展处理模块1003，用于采用所述目标扩展方式对所述原始图像进行处理，得到目标图像。

本公开实施例中提供的图像处理装置，获取原始图像的扩展方向上的边缘图像信息，根据边缘图像信息从至少两个候选扩展方式中选择目标扩展方式，采用目标扩展方式对原始图像进行处理，得到目标图像。通过采用上述技术方案，针对于需要进行扩展的原始图像，可以根据扩展方向上的边缘图像信息来灵活选取更加合适的扩展方式，相比于固化地采用单一的扩展方式来说，可以实现更有针对性的扩展处理，得到扩展效果更好的扩展后的目标图像。

可选的，所述至少两个候选扩展方式中包括第一方式和第二方式，所述第一方式基于针对边缘像素进行复制来实现，所述第二方式基于神经网络模型来实现；

所述根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式，包括：

根据所述边缘图像信息确定边缘区域的图像内容的复杂度；

当所述复杂度低于或等于第一预设复杂度时，将所述第一方式确定为目标扩展方式；

当所述复杂度高于第二预设复杂度时，将所述第二方式确定为目标扩展方式，其中，所述第二预设复杂度高于或等于所述第一预设复杂度。

可选的，采用第一指标和第二指标衡量所述复杂度；所述第一指标包括边缘区域的像素值的均方差，所述均方差越大，对应的复杂度越高；所述第二指标包括边缘区域的灰度值，所述灰度值越大，对应的复杂度越低。

可选的，当所述目标扩展方式包括所述第二方式时，所述采用所述目标扩展方式对所述原始图像进行处理，包括：

根据所述扩展方向对应的扩展长度从所述原始图像中截取原始子图像；

根据所述原始子图像生成掩码图像，其中，所述掩码图像的尺寸大于所述原始子图像的尺寸；

将所述原始子图像和所述掩码图像输入至目标图像生成网络中，得到所述目标图像生成网络输出的生成图像；

从所述生成图像中截取扩展图像，并根据所述原始图像和所述扩展图像生成目标图像。

可选的，该装置还包括：

风格识别模块，用于在所述将所述原始子图像和所述掩码图像输入至目标图像生成网络中之前，对所述原始图像进行图像风格识别，得到目标图像风格；

目标图像生成网络获取模块，用于根据所述目标图像风格查询预设对应关系，以获取目标图像生成网络，其中，所述预设对应关系中包含不同图像风格与图像生成网络的对应关系。

可选的，所述目标图像生成网络通过对预设网络模型进行训练得到，所述预设网络模型基于生成对抗式网络实现，所述预设网络模型的训练过程涉及多个训练阶段，从第一个训练阶段至最后一个训练阶段，各训练阶段对应的损失函数的种类依次增加。

可选的，第一个训练阶段包括重建损失函数，第二个训练阶段包括重建损失函数、对抗损失函数和感知损失函数，第三个训练阶段包括重建损失函数、对抗损失函数、感知损失函数和结构信息损失函数。

可选的，所述根据所述原始图像和所述扩展图像生成目标图像，包括：

对所述原始图像和所述扩展图像进行像素加权拼接处理，以生成目标图像；其中，对于所述原始图像和所述扩展图像的重叠区域中的各像素位置，对应的第一像素的权重大小与相对于所述原始图像的距离成负相关关系，对应的第二像素的权重大小与相对于所述原始图像的距离成正相关关系，所述第一像素来源于所述原始图像，所述第二像素来源于所述扩展图像。

可选的，所述装置还包括：

扩展比例获取模块，用于在当存在多个扩展方向时，获取所述多个扩展方向中的各个扩展方向分别对应的扩展比例，其中，所述扩展比例包括扩展方向对应的扩展长度与扩展方向对应的原始图像边长的比值；

当前扩展方向确定模块，用于按照所述扩展比例从小至大的顺序依次确定当前的扩展方向，其中，从排序第二的扩展方向起，在采用目标扩展方式对原始图像进行处理时，当前的扩展方向所对应的原始图像为上一个扩展方向对应的目标图像。

下面参考图11，其示出了适于用来实现本公开实施例的计算机设备1100的结构示意图。本公开实施例中的计算机设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图11示出的计算机设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图11所示，计算机设备1100可以包括处理装置(例如中央处理器、图形处理器等)1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储装置1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有计算机设备1100操作所需的各种程序和数据。处理装置1101、ROM 1102以及RAM1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

通常，以下装置可以连接至I/O接口1105：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1106；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1107；包括例如磁带、硬盘等的存储装置1108；以及通信装置1109。通信装置1109可以允许计算机设备1100与其他设备进行无线或有线通信以交换数据。虽然图11示出了具有各种装置的计算机设备1100，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1109从网络上被下载和安装，或者从存储装置1108被安装，或者从ROM 1102被安装。在该计算机程序被处理装置1101执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述计算机设备中所包含的；也可以是单独存在，而未装配入该计算机设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该计算机设备执行时，使得该计算机设备：获取原始图像的扩展方向上的边缘图像信息；根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式；采用所述目标扩展方式对所述原始图像进行处理，得到目标图像。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，边缘图像信息获取模块还可以被描述为“获取原始图像的扩展方向上的边缘图像信息的模块”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，提供了一种图像处理方法，包括：

获取原始图像的扩展方向上的边缘图像信息；

根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式；

采用所述目标扩展方式对所述原始图像进行处理，得到目标图像。

进一步的，所述至少两个候选扩展方式中包括第一方式和第二方式，所述第一方式基于针对边缘像素进行复制来实现，所述第二方式基于神经网络模型来实现；

所述根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式，包括：

根据所述边缘图像信息确定边缘区域的图像内容的复杂度；

当所述复杂度低于或等于第一预设复杂度时，将所述第一方式确定为目标扩展方式；

当所述复杂度高于第二预设复杂度时，将所述第二方式确定为目标扩展方式，其中，所述第二预设复杂度高于或等于所述第一预设复杂度。

进一步的，采用第一指标和第二指标衡量所述复杂度；所述第一指标包括边缘区域的像素值的均方差，所述均方差越大，对应的复杂度越高；所述第二指标包括边缘区域的灰度值，所述灰度值越大，对应的复杂度越低。

进一步的，当所述目标扩展方式包括所述第二方式时，所述采用所述目标扩展方式对所述原始图像进行处理，包括：

根据所述扩展方向对应的扩展长度从所述原始图像中截取原始子图像；

根据所述原始子图像生成掩码图像，其中，所述掩码图像的尺寸大于所述原始子图像的尺寸；

将所述原始子图像和所述掩码图像输入至目标图像生成网络中，得到所述目标图像生成网络输出的生成图像；

从所述生成图像中截取扩展图像，并根据所述原始图像和所述扩展图像生成目标图像。

进一步的，在所述将所述原始子图像和所述掩码图像输入至目标图像生成网络中之前，还包括：

对所述原始图像进行图像风格识别，得到目标图像风格；

根据所述目标图像风格查询预设对应关系，以获取目标图像生成网络，其中，所述预设对应关系中包含不同图像风格与图像生成网络的对应关系。

进一步的，所述目标图像生成网络通过对预设网络模型进行训练得到，所述预设网络模型基于生成对抗式网络实现，所述预设网络模型的训练过程涉及多个训练阶段，从第一个训练阶段至最后一个训练阶段，各训练阶段对应的损失函数的种类依次增加。

进一步的，第一个训练阶段包括重建损失函数，第二个训练阶段包括重建损失函数、对抗损失函数和感知损失函数，第三个训练阶段包括重建损失函数、对抗损失函数、感知损失函数和结构信息损失函数。

进一步的，所述根据所述原始图像和所述扩展图像生成目标图像，包括：

对所述原始图像和所述扩展图像进行像素加权拼接处理，以生成目标图像；其中，对于所述原始图像和所述扩展图像的重叠区域中的各像素位置，对应的第一像素的权重大小与相对于所述原始图像的距离成负相关关系，对应的第二像素的权重大小与相对于所述原始图像的距离成正相关关系，所述第一像素来源于所述原始图像，所述第二像素来源于所述扩展图像。

进一步的，当存在多个扩展方向时，所述方法还包括：

获取所述多个扩展方向中的各个扩展方向分别对应的扩展比例，其中，所述扩展比例包括扩展方向对应的扩展长度与扩展方向对应的原始图像边长的比值；

按照所述扩展比例从小至大的顺序依次确定当前的扩展方向，其中，从排序第二的扩展方向起，在采用目标扩展方式对原始图像进行处理时，当前的扩展方向所对应的原始图像为上一个扩展方向对应的目标图像。

根据本公开的一个或多个实施例，提供了一种图像处理装置，包括：

边缘图像信息获取模块，用于获取原始图像的扩展方向上的边缘图像信息；

扩展方式选择模块，用于根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式；

图像扩展处理模块，用于采用所述目标扩展方式对所述原始图像进行处理，得到目标图像。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取原始图像的扩展方向上的边缘图像信息；

根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式；

采用所述目标扩展方式对所述原始图像进行处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述至少两个候选扩展方式中包括第一方式和第二方式，所述第一方式基于针对边缘像素进行复制来实现，所述第二方式基于神经网络模型来实现；

所述根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式，包括：

根据所述边缘图像信息确定边缘区域的图像内容的复杂度；

当所述复杂度低于或等于第一预设复杂度时，将所述第一方式确定为目标扩展方式；

当所述复杂度高于第二预设复杂度时，将所述第二方式确定为目标扩展方式，其中，所述第二预设复杂度高于或等于所述第一预设复杂度。

3.根据权利要求2所述的方法，其特征在于，采用第一指标和第二指标衡量所述复杂度；所述第一指标包括边缘区域的像素值的均方差，所述均方差越大，对应的复杂度越高；所述第二指标包括边缘区域的灰度值，所述灰度值越大，对应的复杂度越低。

4.根据权利要求2所述的方法，其特征在于，当所述目标扩展方式包括所述第二方式时，所述采用所述目标扩展方式对所述原始图像进行处理，包括：

根据所述扩展方向对应的扩展长度从所述原始图像中截取原始子图像；

根据所述原始子图像生成掩码图像，其中，所述掩码图像的尺寸大于所述原始子图像的尺寸；

将所述原始子图像和所述掩码图像输入至目标图像生成网络中，得到所述目标图像生成网络输出的生成图像；

从所述生成图像中截取扩展图像，并根据所述原始图像和所述扩展图像生成目标图像。

5.根据权利要求4所述的方法，其特征在于，在所述将所述原始子图像和所述掩码图像输入至目标图像生成网络中之前，还包括：

对所述原始图像进行图像风格识别，得到目标图像风格；

根据所述目标图像风格查询预设对应关系，以获取目标图像生成网络，其中，所述预设对应关系中包含不同图像风格与图像生成网络的对应关系。

6.根据权利要求4所述的方法，其特征在于，所述目标图像生成网络通过对预设网络模型进行训练得到，所述预设网络模型基于生成对抗式网络实现，所述预设网络模型的训练过程涉及多个训练阶段，从第一个训练阶段至最后一个训练阶段，各训练阶段对应的损失函数的种类依次增加。

7.根据权利要求6所述的方法，其特征在于，第一个训练阶段包括重建损失函数，第二个训练阶段包括重建损失函数、对抗损失函数和感知损失函数，第三个训练阶段包括重建损失函数、对抗损失函数、感知损失函数和结构信息损失函数。

8.根据权利要求4所述的方法，其特征在于，所述根据所述原始图像和所述扩展图像生成目标图像，包括：

对所述原始图像和所述扩展图像进行像素加权拼接处理，以生成目标图像；其中，对于所述原始图像和所述扩展图像的重叠区域中的各像素位置，对应的第一像素的权重大小与相对于所述原始图像的距离成负相关关系，对应的第二像素的权重大小与相对于所述原始图像的距离成正相关关系，所述第一像素来源于所述原始图像，所述第二像素来源于所述扩展图像。

9.根据权利要求1所述的方法，其特征在于，当存在多个扩展方向时，所述方法还包括：

获取所述多个扩展方向中的各个扩展方向分别对应的扩展比例，其中，所述扩展比例包括扩展方向对应的扩展长度与扩展方向对应的原始图像边长的比值；

按照所述扩展比例从小至大的顺序依次确定当前的扩展方向，其中，从排序第二的扩展方向起，在采用目标扩展方式对原始图像进行处理时，当前的扩展方向所对应的原始图像为上一个扩展方向对应的目标图像。

10.一种图像处理装置，其特征在于，包括：

边缘图像信息获取模块，用于获取原始图像的扩展方向上的边缘图像信息；

扩展方式选择模块，用于根据所述边缘图像信息从至少两个候选扩展方式中选择目标扩展方式；

图像扩展处理模块，用于采用所述目标扩展方式对所述原始图像进行处理，得到目标图像。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9任一项所述的方法。

12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任一项所述的方法。

Images