CN113628229B - 图像裁剪方法及相关产品 - Google Patents

Abstract

本申请实施例公开了一种图像裁剪方法及相关产品，该图像裁剪方法包括：获取第一人脸区域信息；所述第一人脸区域信息表征原始图像中的第一人脸区域；基于预设比例系数和所述第一人脸区域信息，获取第二人脸区域信息；所述第二人脸区域信息表征所述第一人脸区域按照所述预设比例系数调整后的第二人脸区域；基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像；可以准确地将该原始图像中畸变较严重的区域裁剪掉，避免裁剪过多或者裁剪不足。

Description

图像裁剪方法及相关产品

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像裁剪方法及相关产品。

背景技术

目前市场上的镜头大概可以分为两种：广角镜头和非广角镜头。采用非广角镜头的产品拍摄的图像的畸变量较小，如手机镜头。采用广角镜头或超广角镜头的产品拍摄的图像的畸变量通常都是非常大，如果不经过畸变校正，几乎是不能看的。图像的畸变主要有两种：径向畸变和切向畸变。径向畸变：正中心位置的畸变最小，随着半径的增大，畸变增大。径向畸变可以分为枕形畸变和桶形畸变。切向畸变是由于透镜本身与相机传感器平面（成像平面）或图像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。

在实际应用中，通常需要对图像中人像畸变的现象进行矫正处理（可称为畸变矫正处理）。目前可以通过不同的投影变换等图像处理技术对图像中人像畸变的现象进行矫正处理。对图像中人像畸变的现象进行矫正处理的同时，人像周边的图像内容同样会受到一定程度的影响，例如直线的弯曲等现象。对图像中人像畸变的现象进行矫正处理之后，通常需要进一步对矫正处理后的图像做裁剪以去除矫正处理后的图像中受矫正处理影响的部分图像内容。畸变矫正处理后的图像经过裁剪之后更加自然。目前，采用的裁剪畸变矫正处理后的图像的方式存在裁剪过多或裁剪不足的问题。如何避免裁剪过多或者裁剪不足是目标需要研究的问题。

发明内容

本申请实施例公开了一种图像裁剪方法及相关产品。

第一方面，本申请实施例提供一种图像裁剪方法，所述方法包括：获取第一人脸区域信息；所述第一人脸区域信息表征原始图像中的第一人脸区域；基于预设比例系数和所述第一人脸区域信息，获取第二人脸区域信息；所述第二人脸区域信息表征所述第一人脸区域按照所述预设比例系数调整后的第二人脸区域；基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像。

本申请实施例中，基于第二人脸区域和原始图像的边界，裁剪原始图像，得到第一图像；可以准确地将该原始图像中畸变较严重的区域裁剪掉，避免裁剪过多或者裁剪不足。

在一种可能的实现方式中，所述基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像包括：在所述第二人脸区域的第一边界超出所述原始图像的第一边界的像素个数大于第一阈值的情况下，以第一裁剪边界作为所述原始图像新的第一边界裁剪所述原始图像，得到所述第一图像；所述第一裁剪边界与所述原始图像的第一边界平行，所述第一裁剪边界与所述原始图像的第一边界之间的像素个数等于所述第二人脸区域的第一边界超出所述原始图像的第一边界的像素个数与所述第一阈值之差。所述第一裁剪边界与所述原始图像的第一边界之间的像素个数是指所述第一裁剪边界与所述原始图像的第一边界之间的距离所对应的像素个数。第一边界为左边界、右边界、上边界以及下边界中的任一种。

在该实现方式中，以第一裁剪边界作为原始图像新的第一边界裁剪原始图像，得到第一图像。第一裁剪边界是由第二人脸区域的第一边界超出原始图像的第一边界的像素个数与第一阈值之差决定，该第一裁剪边界综合考虑了第一人脸区域的大小以及第一人脸区域的第一边界与原始图像的第一边界之间的距离，可以对图像的边缘进行合理比例的裁剪。

在一种可能的实现方式中，所述基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像包括：在所述第一人脸区域的第二边界与所述原始图像的第二边界之间的距离小于第二阈值且所述第二人脸区域位于所述原始图像的情况下，以第二裁剪边界作为所述原始图像新的第二边界裁剪所述原始图像，得到所述第一图像；所述第二裁剪边界为所述第二人脸区域的第二边界。所述第二人脸区域位于所述原始图像是指所述第二人脸区域包含于所述原始图像。第二边界为左边界、右边界、上边界以及下边界中的任一种。

图像越靠近边缘的区域畸变越严重。在原始图像中，第二人脸区域的第二边界与该原始图像的第二边界之间的区域可理解为畸变较严重的区域，其他区域为畸变较轻的区域。

在该实现方式中，以第二裁剪边界作为原始图像新的第二边界裁剪原始图像，得到第一图像。以第二裁剪边界作为原始图像新的第二边界裁剪原始图像综合考虑了第一人脸区域的大小以及第一人脸区域的第二边界与原始图像的第二边界之间的距离，可以对图像的边缘进行合理比例的裁剪。

在一种可能的实现方式中，所述第一人脸区域信息包括：所述第一人脸区域的顶点坐标以及所述第一人脸区域的长和宽；所述基于预设比例系数和所述第一人脸区域信息，获取第二人脸区域信息包括：将所述第一人脸区域的长和宽分别与所述预设比例系数的乘积作为所述第二人脸区域的长和宽，以及根据所述第一人脸区域的顶点坐标、长以及宽确定所述第二人脸区域的顶点坐标。

在该实现方式中，可以快速、准确地获取第二人脸区域信息。

在一种可能的实现方式中，所述第二人脸区域的第一顶点的坐标与所述第一人脸区域的第一顶点的坐标相同。第一顶点为左上顶点、左下顶点、右上顶点、右下顶点中的任一种。所述第一顶点为第二人脸区域的第三边界上的任一顶点，第一人脸区域的第三边界与原始图像的第三边界之间的距离大于第一人脸区域的其他边界与原始图像的相应边界之间的距离。

在一种可能的实现方式中，所述第二人脸区域的中心点的坐标与所述第一人脸区域的中心点的坐标相同。

在一种可能的实现方式中，在基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像之后，所述方法还包括：根据所述原始图像的宽、高以及宽与高的比例对所述第一图像进行缩放插值，得到第二图像；所述第二图像的宽、高以及宽与高的比例分别与所述原始图像的宽、高以及宽与高的比例相同。

在该实现方式中，根据原始图像的宽、高以及宽与高的比例对第一图像进行缩放插值，得到第二图像；能够由裁剪后的第一图像得到与原始图像的宽、高以及宽与高的比例均相同的第二图像。

在一种可能的实现方式中，所述方法还包括：对输入图像做畸变矫正处理，得到所述原始图像。

第二方面，本申请实施例提供一种图像处理装置，包括：获取单元，用于第一人脸区域信息；所述第一人脸区域信息表征原始图像中的第一人脸区域；所述获取单元，还用于基于预设比例系数和所述第一人脸区域信息，获取第二人脸区域信息；所述第二人脸区域信息表征所述第一人脸区域按照所述预设比例系数调整后的第二人脸区域；图像裁剪单元，用于基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像。

在一种可能的实现方式中，所述图像裁剪单元，具体用于在所述第二人脸区域的第一边界超出所述原始图像的第一边界的像素个数大于第一阈值的情况下，以第一裁剪边界作为所述原始图像新的第一边界裁剪所述原始图像，得到所述第一图像；所述第一裁剪边界与所述原始图像的第一边界平行，所述第一裁剪边界与所述原始图像的第一边界之间的像素个数等于所述第二人脸区域的第一边界超出所述原始图像的第一边界的像素个数与所述第一阈值之差。

在一种可能的实现方式中，所述图像裁剪单元，具体用于在所述第一人脸区域的第二边界与所述原始图像的第二边界之间的距离小于第二阈值且所述第二人脸区域位于所述原始图像的情况下，以第二裁剪边界作为所述原始图像新的第二边界裁剪所述原始图像，得到所述第一图像；所述第二裁剪边界为所述第二人脸区域的第二边界。

在一种可能的实现方式中，所述第一人脸区域信息包括：所述第一人脸区域的顶点坐标以及所述第一人脸区域的长和宽；所述获取单元，具体用于将所述第一人脸区域的长和宽分别与所述预设比例系数的乘积作为所述第二人脸区域的长和宽，以及根据所述第一人脸区域的顶点坐标、长以及宽确定所述第二人脸区域的顶点坐标。

在一种可能的实现方式中，所述第二人脸区域的第一顶点的坐标与所述第一人脸区域的第一顶点的坐标相同。

在一种可能的实现方式中，所述第二人脸区域的中心点的坐标与所述第一人脸区域的中心点的坐标相同。

在一种可能的实现方式中，所述装置还包括：处理单元，用于根据所述原始图像的宽、高以及宽与高的比例对所述第一图像进行缩放插值，得到第二图像；所述第二图像的宽、高以及宽与高的比例分别与所述原始图像的宽、高以及宽与高的比例相同。

在一种可能的实现方式中，所述处理单元，还用于对输入图像做畸变矫正处理，得到所述原始图像。

关于第二方面或各种可选的实施方式所带来的技术效果，可参考对于第一方面或相应的实现方式的技术效果的介绍。

第三方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：处理器和存储器，其中，所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，使得所述处理器执行如上述第一方面以及任一种可能的实现方式的方法。

第四方面，本申请实施例提供了一种芯片，该芯片包括数据接口和处理器，其中，所述处理器用于执行第一方面或第一方面的任意可能的实现方式中的方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，该计算机存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时使该处理器执行上述第一方面以及上述第一方面任一种可选的实现方式的方法。

第六方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面以及任一种可选的实现方式的方法。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1为本申请实施例提供的一种图像裁剪方法流程图；

图2为本申请实施例提供的一种第一人脸区域和第二人脸区域的示例的示意图；

图3为本申请实施例提供的另一种第一人脸区域和第二人脸区域的示例的示意图；

图4为本申请实施例提供的一种裁剪原始图像的示例的示意图；

图5为本申请实施例提供的另一种裁剪原始图像的示例的示意图；

图6为本申请实施例提供的另一种图像裁剪方法流程图；

图7为本申请实施例提供的一种图像畸变矫正处理方法流程图；

图8为本申请实施例提供的一种图像处理装置的结构示意图；

图9是本申请实施例提供的一种服务器的结构示意图；

图10为本申请实施例提供的一种终端设备的结构示意图。

具体实施方式

本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等仅用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备等，没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元等，或可选地还包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“上述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。本申请中使用的术语“多个”是指两个或两个以上。

为解决对畸变矫正处理后的图像裁剪过多或裁剪不足的问题。本申请提供了一种可以较准确地将图像中畸变较严重的边缘区域裁剪掉的图像裁剪方法，能够较好地解决对畸变矫正处理后的图像裁剪过多或裁剪不足的问题。本申请实施例提供的图像裁剪方法可应用于图像畸变矫正处理场景。下面分别对申请实施例提供的图像裁剪方法适用的场景进行简单的介绍。

场景1：用户将待处理图像（即待做畸变矫正处理的图像）输入至图像处理装置（例如，台式电脑、笔记本电脑、个人计算机等）；图像处理装置对该待处理图像做畸变矫正处理，得到畸变矫正处理后的图像。在场景1中，图像处理装置在对待处理图像做畸变矫正处理之后，可采用本申请提供的图像裁剪方法对畸变矫正处理后的图像做裁剪。

场景2：用户通过终端设备（例如台式电脑、笔记本电脑、个人计算机、手机等）将待处理图像（即待做畸变矫正处理的图像）发送给图像处理装置；图像处理装置对该待处理图像做畸变矫正处理，得到畸变矫正处理后的图像；图像处理装置将畸变矫正处理后的图像发送给终端设备。在场景2中，图像处理装置在对待处理图像做畸变矫正处理之后，可采用本申请提供的图像裁剪方法对畸变矫正处理后的图像做裁剪。

在上述场景中，通过实施本申请实施例提供的图像裁剪方法，可以较准确地将图像中畸变较严重的边缘区域裁剪掉。

下面结合附图来介绍本申请实施例提供的图像裁剪方法。

图1为本申请实施例提供的一种图像裁剪方法流程图。如图1所示，该方法包括：

101、图像处理装置获取第一人脸区域信息。

图像处理装置可以是台式电脑、笔记本电脑、个人计算机等具备图像处理能力的终端设备，也可以是服务器，例如云服务器。

第一人脸区域信息表征原始图像中的第一人脸区域（一个矩形区域）。在一些实施例中，原始图像为畸变矫正处理后的图像。在一个可能的实现方式中，第一人脸区域信息包括：第一人脸区域的顶点坐标以及第一人脸区域的长和宽。例如，第一人脸区域信息包括：第一人脸区域的起始坐标（x,y），该第一人脸区域的宽和高（w，h），该起始坐标为该第一人脸区域的左下顶点的坐标。又例如，第一人脸区域信息包括：第一人脸区域的起始坐标（x,y），该第一人脸区域的宽和高（w，h），该起始坐标为该第一人脸区域的右上顶点的坐标。

在一些实施例中，图像处理装置在执行步骤101之前，可对原始图像进行人脸检测，得到第一人脸区域。在实际应用中，图像处理装置可对原始图像进行人脸检测得到一个（即第一人脸区域）或一个以上人脸区域。在一些实施例中，图像处理装置在执行步骤101之前，可对输入图像做畸变矫正处理得到原始图像。

102、基于预设比例系数和第一人脸区域信息，获取第二人脸区域信息。

第二人脸区域信息表征第一人脸区域按照预设比例系数调整后的第二人脸区域。

在一个可能的实现方式中，上述第一人脸区域信息包括：上述第一人脸区域的顶点坐标以及上述第一人脸区域的长和宽；步骤102的实现方式如下：将上述第一人脸区域的长和宽分别与上述预设比例系数的乘积作为上述第二人脸区域的长和宽，以及根据上述第一人脸区域的顶点坐标、长以及宽确定上述第二人脸区域的顶点坐标。在一些实施例中，第二人脸区域的第一顶点的坐标与第一人脸区域的第一顶点的坐标相同。第一顶点为左上顶点、左下顶点、右上顶点、右下顶点中的任一种。在一些实施例中，第一顶点为第二人脸区域的第三边界上的任一顶点，第一人脸区域的第三边界与原始图像的第三边界之间的距离大于第一人脸区域的其他边界与原始图像的相应边界之间的距离。例如，第一顶点为第一人脸区域的右下顶点或左下顶点，第一人脸区域的上边界与原始图像的上边界之间的距离是第一人脸区域的上边界与原始图像的上边界之间的距离、第一人脸区域的下边界与原始图像的下边界之间的距离、第一人脸区域的左边界与原始图像的左边界之间的距离以及第一人脸区域的右边界与原始图像的右边界之间的距离中最大的。图2为本申请实施例提供的一种第一人脸区域和第二人脸区域的示例的示意图。图2中，实线矩形框201表示第一人脸区域，虚线矩形框202表示第二人脸区域，该第一人脸区域的左下顶点和该第二人脸区域的左下顶点相同。在一些实施例中，上述第二人脸区域的中心点的坐标与上述第一人脸区域的中心点的坐标相同。图3为本申请实施例提供的另一种第一人脸区域和第二人脸区域的示例的示意图。图3中，实线矩形框301表示第一人脸区域，虚线矩形框302表示第二人脸区域，该第一人脸区域的中心点的坐标和该第二人脸区域的中心点的坐标相同。

在该实现方式中，通过预设比例系数k，调整第一人脸区域的范围，从而达到一个合理的人脸区域范围（即第二人脸区域的范围）。鉴于人脸距离镜头远近存在尺度的变换（距离镜头较近的人脸区域所占像素较多，距离镜头较远的人脸所占像素较少），调整后的人脸区域（对应于第二人脸区域）的尺寸应当为当前该人脸区域（对应于第一人脸区域）的尺寸（宽度或高度）与该预设比例系数k组合的函数。

103、基于第二人脸区域和原始图像的边界，裁剪原始图像，得到第一图像。

在一些实施例中，图像处理装置可通过对比第二人脸区域和原始图像之间的位置关系以及对比两者之间对应边界之间的距离和预设阈值，判定第一人脸区域是否触发裁剪原始图像。

步骤103一种可能的实现方式如下：在第二人脸区域的第一边界超出原始图像的第一边界的像素个数大于第一阈值的情况下，以第一裁剪边界作为上述原始图像新的第一边界裁剪上述原始图像，得到上述第一图像。第一边界为左边界、右边界、上边界以及下边界中的任一种。上述第一裁剪边界与上述原始图像的第一边界平行。上述第一裁剪边界与上述原始图像的第一边界之间的像素个数等于上述第二人脸区域的第一边界超出上述原始图像的第一边界的像素个数与上述第一阈值之差。上述第二人脸区域的第一边界超出上述原始图像的第一边界的像素个数大于第一阈值是触发裁剪原始图像的第一边界的条件，即确定原始图像新的第一边界并按照新的第一边界裁剪原始图像的条件。也就是说，若第二人脸区域的第一边界超出上述原始图像的第一边界的像素个数小于或等于第一阈值，不需要确定原始图像新的第一边界。

图4为本申请实施例提供的一种裁剪原始图像的示例的示意图。如图4所示，delta_u表示人脸区域1（对应于第二人脸区域）的上边界超出原始图像的上边界的差值（对应于像素个数），crop_u_thr表示人脸区域1的上边界超出原始图像的上边界多少像素即进行裁剪的阈值。c_u=delta_u -crop_u_thr，c_u表示上边界所需裁剪的像素个数。同理，delta_d表示人脸区域2（对应于第二人脸区域）的下边界超出原始图像的下边界的差值（对应于像素个数），crop_d_thr表示人脸区域2的下边界超出该原始图像的下边界多少像素即进行裁剪的阈值，c_d表示下边界所需裁剪的像素个数。同理，delta_l表示人脸区域3（对应于第二人脸区域）的左边界超出原始图像的左边界的差值（对应于像素个数），crop_l_thr表示人脸区域3的左边界超出该原始图像的左边界多少像素即进行裁剪的阈值，c_l表示左边界所需裁剪的像素个数。同理，delta_r表示人脸区域4（对应于第二人脸区域）的右边界超出原始图像的右边界的差值（对应于像素个数），crop_r_thr表示人脸区域4的右边界超出该原始图像的右边界多少像素即进行裁剪的阈值，c_r表示右边界所需裁剪的像素个数。

步骤103一种可能的实现方式如下：在上述第一人脸区域的第二边界与上述原始图像的第二边界之间的距离小于第二阈值且上述第二人脸区域位于上述原始图像的情况下，以第二裁剪边界作为上述原始图像新的第二边界裁剪上述原始图像，得到上述第一图像。上述第二裁剪边界为上述第二人脸区域的第二边界。上述第二人脸区域位于上述原始图像是指上述第二人脸区域包含于上述原始图像。第二边界为左边界、右边界、上边界以及下边界中的任一种。第一人脸区域的第二边界与上述原始图像的第二边界之间的距离小于第二阈值且上述第二人脸区域位于上述原始图像是触发裁剪原始图像的第二边界的条件，即确定原始图像新的第二边界并按照新的第二边界裁剪原始图像的条件。应理解，若第一人脸区域的第二边界与上述原始图像的第二边界之间的距离不小于第二阈值或者上述第二人脸区域的部分区域未包含于上述原始图像，则不需要确定原始图像新的第二边界。

图5为本申请实施例提供的另一种裁剪原始图像的示例的示意图。如图5所示，delta_2表示第一人脸区域的第二边界与原始图像的第二边界之间的距离，crop_2_thr表示第一人脸区域的第二边界与该原始图像的第二边界之间的像素个数少于多少即进行裁剪的阈值，501表示第二裁剪边界。图像越靠近边缘的区域畸变越严重。在原始图像中，第二人脸区域的第二边界与该原始图像的第二边界之间的区域可理解为畸变较严重的区域，其他区域为畸变较轻的区域。在该实现方式中，以第二裁剪边界作为原始图像新的第二边界裁剪原始图像，得到第一图像。以第二裁剪边界作为原始图像新的第二边界裁剪原始图像综合考虑了第一人脸区域的大小以及第一人脸区域的第二边界与原始图像的第二边界之间的距离，可以对图像的边缘进行合理比例的裁剪。

图1的方法流程仅示出了根据第一人脸区域裁剪原始图像的方式。应理解，图像处理装置可采用类似的方式根据其他人脸区域对原始图像做裁剪。在实际应用中，图像处理装置可裁剪原始图像的一次或多次，例如针对两个或两个以上边界均裁剪一次。

本申请实施例中，基于第二人脸区域和原始图像的边界，裁剪原始图像，得到第一图像；可以准确地将该原始图像中畸变较严重的区域裁剪掉，避免裁剪过多或者裁剪不足。

图6为本申请实施例提供的另一种图像裁剪方法流程图。图6中的方法流程是图1中的方法流程的一种可能的实现方式。如图6所示，该方法包括：

601、图像处理装置获取一个或多个人脸区域信息。

图像处理装置获取的一个或多个人脸区域信息可包括上述第一人脸区域信息。在一些实施例中，图像处理装置可对原始图像做人脸检测，得到一个或多个人脸区域信息。每个人脸区域信息可包括一个人脸区域（一个矩形区域）的起始坐标以及该人脸区域的长和宽。

602、图像处理装置设置预设比例系数。

步骤602是可选的，而非必要的。在一些实施例中，预设比例系数可以是预先设置的，用户不必设置预设比例系数，即采用预先设置的预设比例系数。在一些实施例中，用户可根据实际需求自行设置预设比例系数。预设比例系数可称为人脸框扩展系数。

603、图像处理装置根据预设比例系数和一个或多个人脸区域信息，获取一个或多个扩展人脸区域信息。

上述第二人脸区域信息为一个扩展人脸区域信息，上述第一人脸区域信息为一个人脸区域信息。例如，每个扩展人脸区域信息可包括一个扩展人脸区域（一个矩形区域）的起始坐标以及该扩展人脸区域的长和宽。图1中的步骤102描述了根据预设比例系数和上述第一人脸区域信息，获取上述第二人脸区域信息的方式。步骤603的实现方式可参阅步骤102的实现方式。

604、图像处理装置根据一个或多个扩展人脸区域信息，确定是否满足触发裁剪原始图像的条件。

步骤604可能的实现方式可以是分别判断是否满足触发裁剪原始图像的边界（边缘）的条件。参阅图4，判断是否满足触发裁剪原始图像的上边界的条件可以是：确定一个或多个扩展人脸区域信息指示的一个或多个扩展人脸区域中，是否至少一个扩展人脸区域的上边界超出原始图像的上边界的像素个数大于crop_u_thr；若是，则满足触发裁剪原始图像的上边界的条件。同理，判断是否满足触发裁剪原始图像的下边界的条件可以是：确定一个或多个扩展人脸区域信息指示的一个或多个扩展人脸区域中，是否至少一个扩展人脸区域的下边界超出原始图像的下边界的像素个数大于crop_d_thr；若是，则满足触发裁剪原始图像的下边界的条件。同理，判断是否满足触发裁剪原始图像的左边界的条件可以是：确定一个或多个扩展人脸区域信息指示的一个或多个扩展人脸区域中，是否至少一个扩展人脸区域的左边界超出原始图像的左边界的像素个数大于crop_l_thr；若是，则满足触发裁剪原始图像的左边界的条件。同理，判断是否满足触发裁剪原始图像的右边界的条件可以是：确定一个或多个扩展人脸区域信息指示的一个或多个扩展人脸区域中，是否至少一个扩展人脸区域的右边界超出原始图像的右边界的像素个数大于crop_r_thr；若是，则满足触发裁剪原始图像的右边界的条件。

605、图像处理装置确定一个或多个待裁剪边界对应的裁剪坐标。

一个或多个待裁剪边界可以是满足触发裁剪原始图像的条件的边界。举例来说，图像处理装置确定满足触发裁剪原始图像的上边界、下边界的条件，则原始图像的上边界、下边界为待裁剪边界。在一些实施例中，图像处理装置在确定满足触发裁剪原始图像的条件之后，可分别确定各待裁剪边界对应的裁剪坐标。图像处理装置确定一个待裁剪边界对应的裁剪坐标可以是：确定该待裁剪边界对应的像素裁剪个数，例如c_u=delta_u-crop_u_thr；将与该待裁剪边界平行且与该待裁剪边界距离该像素裁剪个数的直线上的坐标作为该待裁剪边界对应的裁剪坐标（对应于第一裁剪边界）。应理解，图像处理装置可采用类似的方式确定任意待裁剪边界对应的裁剪坐标。举例来说，原始图像的一个待裁剪边界为左边界，该待裁剪边界对应的像素裁剪个数为c_l=delta_l -crop_l_thr，将与该待裁剪边界平行且与该待裁剪边界距离c_l（例如10个像素）的直线上的坐标作为该待裁剪边界对应的裁剪坐标。又举例来说，原始图像的一个待裁剪边界为下边界，该待裁剪边界对应的像素裁剪个数为c_d=delta_d -crop_d_thr，将与该待裁剪边界平行且与该待裁剪边界距离c_d（例如10个像素）的直线上的坐标作为该待裁剪边界对应的裁剪坐标。

606、图像处理装置根据一个或多个待裁剪边界对应的裁剪坐标，裁剪原始图像，得到第一图像。

任意待裁剪边界对应的裁剪坐标可理解为该任意待裁剪边界对应的新边界的坐标。举例来说，原始图像的一个待裁剪边界为左边界，待裁剪边界对应的裁剪坐标即为新的左边界的坐标。在一些实施例中，图像处理装置可按照每个待裁剪边界对应的裁剪坐标，裁剪原始图像。

607、图像处理装置将第一图像缩放至与原始图像的尺寸相同。

在一些实施例中，图像处理装置可根据原始图像的宽、高以及宽与高的比例对裁剪后的原始图像（对应于第一图像）进行缩放插值，得到第二图像；上述第二图像的宽、高以及宽与高的比例分别与上述原始图像的宽、高以及宽与高的比例相同。

本申请实施例中，综合考虑了各人脸区域的大小以及各人脸区域的边界与原始图像的各边界之间的距离，可以对图像的边缘进行合理比例的裁剪。

图7为本申请实施例提供的一种图像畸变矫正处理方法流程图。如图7所示，该方法包括：

701、图像处理装置获取输入图像。

702、对输入图像进行网格点划分，并获取输入图像中的各网格点的原始坐标。

步骤702一种可能的实现方式如下：选取横方向网格点的数目以及竖方向网格点的数目；根据选取的横方向网格点的数目以及竖方向网格点的数目，分别计算横方向相邻网格点之间的像素间隔以及竖方向相邻网格点之间的像素间隔；按照横方向相邻网格点之间的像素间隔以及竖方向相邻网格点之间的像素间隔，对输入图像做网格点划分；获取输入图像中各网格点的原始坐标。

703、对输入图像进行球面投影变换，并采集输入图像经过球面投影后的网格点坐标。

本申请中，网格点坐标是指网格点的坐标。

704、对输入图像进行人像分割处理，并获取人像分割处理后的人像区域信息。

人像区域信息（对应于人像分割结果）指示对输入图像进行人像分割处理得到的人像区域（一个或多个）。

705、对输入图像进行人脸检测，获取人脸区域信息。

人脸区域信息（对应于人脸检测结果）指示对输入图像进行人脸检测得到的人脸区域（一个或多个）。

706、对人像区域和人脸区域进行交集处理，获得输入图像中的人像人脸区域。

707、采集原始坐标落在人像人脸区域内的网格点经过球面投影后的坐标信息。

708、计算人像人脸区域内的权重因子。

图像处理装置可采用任意方式计算人像人脸区域内的权重因子，本申请实施例不作限定。

709、计算输入图像的径向权重因子。

对图像进行畸变矫正的同时会对图像中的内容的形状产生一定的副作用。比如人脸在做畸变矫正处理后会发生异常的形变，失去了原有人脸原有的真实形态，对人脸的美感有很大的影响。在图像的中间部分由于原有畸变较轻，所以对图像内容例如人脸的形变有较小的影响。在广角镜头拍摄照片的边缘位置，由于畸变矫正较强，所以图像内容例如人脸有较强的形变影响。因此需要考虑人脸在图像中的位置差异进行人脸形变的矫正。计算人脸形变矫正强度，可采用sigmoid函数分布。位于图像中心区域人脸形变矫正较弱。位于图像边缘位置形变矫正较强。图像处理装置可采用任意方式输入图像的径向权重因子，本申请实施例不作限定。

710、根据人像人脸区域内的权重因子和输入图像的径向权重因子，计算优化网格点的系数矩阵。

711、求解利用系数矩阵构建的线性方程，得到优化后的网格点的坐标信息。

712、根据优化后的网格点的坐标信息对输入图像中每个像素进行逐点插值计算。

713、对每个像素逐点插值计算后对所得图像进行裁剪和缩放。

图像处理装置可采用本申请提供的图像裁剪方法对每个像素逐点插值计算后对所得图像进行裁剪和缩放。

本申请实施例中，可以有效矫正畸变的图像，并尽量减少对图像做畸变矫正的同时对图像内容的形状产生的副作用

图8为本申请实施例提供的一种图像处理装置的结构示意图。如图8所示，图像处理装置包括：

获取单元801，用于第一人脸区域信息；上述第一人脸区域信息表征原始图像中的第一人脸区域，上述原始图像为畸变矫正处理后的图像；

获取单元801，还用于基于预设比例系数和第一人脸区域信息，获取第二人脸区域信息；上述第二人脸区域信息表征上述第一人脸区域按照上述预设比例系数调整后的第二人脸区域；

图像裁剪单元802，用于基于上述第二人脸区域和上述原始图像的边界，裁剪上述原始图像，得到第一图像。

在一种可能的实现方式中，图像裁剪单元802，具体用于在上述第二人脸区域的第一边界超出上述原始图像的第一边界的像素个数大于第一阈值的情况下，以第一裁剪边界作为上述原始图像新的第一边界裁剪上述原始图像，得到上述第一图像；上述第一裁剪边界与上述原始图像的第一边界平行，上述第一裁剪边界与上述原始图像的第一边界之间的像素个数等于上述第二人脸区域的第一边界超出上述原始图像的第一边界的像素个数与上述第一阈值之差。

在一种可能的实现方式中，图像裁剪单元802，具体用于在上述第一人脸区域的第二边界与上述原始图像的第二边界之间的距离小于第二阈值且上述第二人脸区域位于上述原始图像的情况下，以第二裁剪边界作为上述原始图像新的第二边界裁剪上述原始图像，得到上述第一图像；上述第二裁剪边界为上述第二人脸区域的第二边界。

在一种可能的实现方式中，上述第一人脸区域信息包括：上述第一人脸区域的顶点坐标以及上述第一人脸区域的长和宽；获取单元801，具体用于将上述第一人脸区域的长和宽分别与上述预设比例系数的乘积作为上述第二人脸区域的长和宽，以及根据上述第一人脸区域的顶点坐标、长以及宽确定上述第二人脸区域的顶点坐标。

在一种可能的实现方式中，上述装置还包括：处理单元803，用于根据上述原始图像的宽、高以及宽与高的比例对上述第一图像进行缩放插值，得到第二图像；上述第二图像的宽、高以及宽与高的比例分别与上述原始图像的宽、高以及宽与高的比例相同。

在一种可能的实现方式中，上述处理单元803，还用于对输入图像做畸变矫正处理，得到上述原始图像。

图9是本申请实施例提供的一种服务器的结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上CPU922（例如，一个或一个以上处理器）和存储器932，一个或一个以上存储应用程序942或数据944的存储介质930（例如一个或一个以上海量存储设备）。其中，存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器922可以设置为与存储介质930通信，在服务器900上执行存储介质930中的一系列指令操作。服务器900可以执行本申请提供的图像裁剪方法。

服务器900还可以包括一个或一个以上电源926，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口958，和/或，一个或一个以上操作系统941，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。

上述实施例中由图像处理装置所执行的步骤可以基于该图9所示的服务器结构。例如，中央处理器922可实现图8中的获取单元801、图像裁剪单元802、处理单元803的功能。

图10为本申请实施例提供的一种终端设备的结构示意图。如图10所示，该终端设备100包括处理器1001、存储器1002、通信接口1003以及输入输出设备1004；该处理器1001、存储器1002和通信接口1003通过总线相互连接。图10中的终端设备可以为前述实施例中的图像处理装置。

存储器1002包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmablereadonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CDROM)，该存储器1002用于相关指令及数据。通信接口1003用于接收和发送数据。输入输出设备1004可包括键盘、鼠标、触摸屏等输入设备，以及显示器、屏幕等输出设备。用户可通过输入设备输入待处理图像。

处理器1001可以是一个或多个中央处理器(central processing unit，CPU)，在处理器1001是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。上述实施例中由图像处理装置所执行的步骤可以基于该图10所示的终端设备的结构。具体的，处理器1001可实现图8中的获取单元801、图像裁剪单元802、处理单元803的功能。

在本申请的实施例中提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现前述实施例所提供的图像裁剪方法。

本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述实施例所提供的图像裁剪方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像裁剪方法，其特征在于，所述方法包括：

获取第一人脸区域信息；所述第一人脸区域信息表征原始图像中的第一人脸区域；

基于预设比例系数和所述第一人脸区域信息，获取第二人脸区域信息；所述第二人脸区域信息表征所述第一人脸区域按照所述预设比例系数调整后的第二人脸区域；

基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像；所述基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像包括：

在所述第二人脸区域的第一边界超出所述原始图像的第一边界的像素个数大于第一阈值的情况下，以第一裁剪边界作为所述原始图像新的第一边界裁剪所述原始图像，得到所述第一图像；所述第一裁剪边界与所述原始图像的第一边界平行，所述第一裁剪边界与所述原始图像的第一边界之间的像素个数等于所述第二人脸区域的第一边界超出所述原始图像的第一边界的像素个数与所述第一阈值之差。

2.一种图像裁剪方法，其特征在于，所述方法包括：

获取第一人脸区域信息；所述第一人脸区域信息表征原始图像中的第一人脸区域；

基于预设比例系数和所述第一人脸区域信息，获取第二人脸区域信息；所述第二人脸区域信息表征所述第一人脸区域按照所述预设比例系数调整后的第二人脸区域；

基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像；

所述基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像包括：

在所述第一人脸区域的第二边界与所述原始图像的第二边界之间的距离小于第二阈值且所述第二人脸区域位于所述原始图像的情况下，以第二裁剪边界作为所述原始图像新的第二边界裁剪所述原始图像，得到所述第一图像；所述第二裁剪边界为所述第二人脸区域的第二边界。

3.根据权利要求1或2所述的方法，其特征在于，所述第一人脸区域信息包括：所述第一人脸区域的顶点坐标以及所述第一人脸区域的长和宽；所述基于预设比例系数和所述第一人脸区域信息，获取第二人脸区域信息包括：

将所述第一人脸区域的长和宽分别与所述预设比例系数的乘积作为所述第二人脸区域的长和宽，以及根据所述第一人脸区域的顶点坐标、长以及宽确定所述第二人脸区域的顶点坐标。

4.根据权利要求1或2所述的方法，其特征在于，在基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像之后，所述方法还包括：

根据所述原始图像的宽、高以及宽与高的比例对所述第一图像进行缩放插值，得到第二图像；所述第二图像的宽、高以及宽与高的比例分别与所述原始图像的宽、高以及宽与高的比例相同。

5.一种图像处理装置，其特征在于，包括：

获取单元，用于第一人脸区域信息；所述第一人脸区域信息表征原始图像中的第一人脸区域；

所述获取单元，还用于基于预设比例系数和所述第一人脸区域信息，获取第二人脸区域信息；所述第二人脸区域信息表征所述第一人脸区域按照所述预设比例系数调整后的第二人脸区域；

图像裁剪单元，用于基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像；

所述图像裁剪单元，具体用于在所述第二人脸区域的第一边界超出所述原始图像的第一边界的像素个数大于第一阈值的情况下，以第一裁剪边界作为所述原始图像新的第一边界裁剪所述原始图像，得到所述第一图像；所述第一裁剪边界与所述原始图像的第一边界平行，所述第一裁剪边界与所述原始图像的第一边界之间的像素个数等于所述第二人脸区域的第一边界超出所述原始图像的第一边界的像素个数与所述第一阈值之差。

6.一种图像处理装置，其特征在于，包括：

获取单元，用于第一人脸区域信息；所述第一人脸区域信息表征原始图像中的第一人脸区域；

所述获取单元，还用于基于预设比例系数和所述第一人脸区域信息，获取第二人脸区域信息；所述第二人脸区域信息表征所述第一人脸区域按照所述预设比例系数调整后的第二人脸区域；

图像裁剪单元，用于基于所述第二人脸区域和所述原始图像的边界，裁剪所述原始图像，得到第一图像；

所述图像裁剪单元，具体用于在所述第一人脸区域的第二边界与所述原始图像的第二边界之间的距离小于第二阈值且所述第二人脸区域位于所述原始图像的情况下，以第二裁剪边界作为所述原始图像新的第二边界裁剪所述原始图像，得到所述第一图像；所述第二裁剪边界为所述第二人脸区域的第二边界。

7.根据权利要求5或6所述的装置，其特征在于，所述第一人脸区域信息包括：所述第一人脸区域的顶点坐标以及所述第一人脸区域的长和宽；

所述获取单元，具体用于将所述第一人脸区域的长和宽分别与所述预设比例系数的乘积作为所述第二人脸区域的长和宽，以及根据所述第一人脸区域的顶点坐标、长以及宽确定所述第二人脸区域的顶点坐标。

8.根据权利要求5或6所述的装置，其特征在于，所述装置还包括：

缩放插值单元，用于根据所述原始图像的宽、高以及宽与高的比例对所述第一图像进行缩放插值，得到第二图像；所述第二图像的宽、高以及宽与高的比例分别与所述原始图像的宽、高以及宽与高的比例相同。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行权利要求1至4任意一项所述的方法。

10.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，使得所述处理器执行权利要求1至4任意一项所述的方法。

Images