CN115205127A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法、装置、电子设备和计算机可读存储介质，电子设备确定待处理的群拍图像中多个人像的排列情况；若群拍图像中多个人像的排列情况为排列整齐，则降低校正模型的校正强度，并根据调整后的校正模型对多个人像进行合并校正；其中，校正模型用于调整图像的投影方式以降低图像的透视失真；排列整齐表征多个人像的排列位置与参考线的距离位于预设范围内。采用上述方法既可以降低待处理图像的透视失真，又可以避免校正强度过大造成的人像排列队形出现明显的弯曲的现象；通过降低校正强度，可以避免校正后图像中边缘人脸尺寸过小，中心人脸尺寸放大导致的图像不平衡的问题，提升了图像的显示效果。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

广角镜头具有超强的视野，可以捕捉更多人和风景的纪念时刻，并被广泛用于大范围的群体人像、宽阔的自然景色和大型建筑物的拍摄。在终端设备中，采用广角摄像头拍摄大合照已成为近期趋势。上述广角摄像头的透视投影方式会带来透视失真，导致图像中的人脸畸变。

传统方法中，可以采用算法模型将图像中的透视投影转换成球面(Stereographic)投影，获得校正后的图像，以减轻透视失真带来的人脸畸变。

但是，上述校正后的图像中容易出现直线变弯的情况，特别是针对大合照场景下拍摄的图像，校正后的群像图像的队形会出现明显的弯曲现象，导致图像逼真度下降。

发明内容

本申请实施例提供了一种图像处理方法、装置、电子设备和计算机可读存储介质。

一种图像处理方法，上述包括：

确定待处理的群拍图像中多个人像的排列情况；

若群拍图像中多个人像的排列情况为排列整齐，则降低校正模型的校正强度，并根据调整后的校正模型对多个人像进行合并校正；其中，校正模型用于调整图像的投影方式以降低图像的透视失真；排列整齐表征多个人像的排列位置与参考线的距离位于预设范围内。

在其中一个实施例中，上述确定待处理的群拍图像中多个人像的排列情况，包括：

将从群拍图像中检测到的多个人像区域进行合并，获得群拍图像的合并处理区域；

根据合并处理区域在群拍图像中的位置，确定多个人像的排列情况。

在其中一个实施例中，上述根据合并处理区域在群拍图像中的位置，确定多个人像的排列情况，包括：

提取合并处理区域的轮廓曲线；

若轮廓曲线位于待处理图像的预设区域中，则确定排列情况为排列整齐；预设区域位于两条水平参考线之间。

在其中一个实施例中，上述提取合并处理区域的轮廓曲线之后，还包括：

若轮廓曲线存在超出预设区域的部分曲线，则在合并处理区域对应的各人脸识别框中确定目标人脸识别框；目标人脸识别框的下边框与群拍图像的底边之间的距离最小；

将合并处理区域中，下边框所在水平线与轮廓曲线的下边缘之间的区域确定为目标区域；

按照垂直方向将目标区域划分成多个子区域；

根据各子区域的面积，确定群拍图像中多个人像的排列情况。

在其中一个实施例中，上述根据各子区域的面积，确定群拍图像中多个人像的排列情况，包括：

分别计算任意两个子区域之间的面积比值；

若各面积比值均位于预设阈值范围内，则确定排列情况为所述排列整齐；

若任意一个面积比值超出预设阈值范围，则确定排列情况为排列不整齐。

在其中一个实施例中，上述确定待处理的群拍图像中多个人像的排列情况之前，还包括：

对待处理图像进行人脸识别，获得待处理图像对应的人脸识别框；

统计待处理图像对应的人脸识别框的数量，并获取各人脸识别框中面积最大的人脸识别框；

若人脸识别框的数量大于预设数量阈值，且面积最大的人脸识别框小于预设面积阈值，则确定待处理图像为待处理的群拍图像。

在其中一个实施例中，上述统计待处理图像对应的人脸识别框的数量，并获取各人脸识别框中面积最大的人脸识别框之后，还包括：

若人脸识别框的数量小于或等于预设数量阈值，或面积最大的人脸识别框大于或等于预设面积阈值，则采用校正模型对待处理图像中的人像分别进行校正。

在其中一个实施例中，上述采用校正模型对待处理图像中的人像分别进行校正，包括：

识别待处理图像中的低置信度目标与高置信度目标；其中，低置信度目标为不具有对应的人脸识别框的人像区域；高置信度目标为具有对应的人脸识别框的人像区域；

将人脸变形超出预设范围的高置信度目标的人脸区域，确定为待校正的高置信度人脸区域，并采用校正模型对待校正的高置信度人脸区域进行校正。

在其中一个实施例中，上述识别待处理图像中的低置信度目标与高置信度目标之后，还包括：

计算低置信度目标的长宽比；

在长宽比大于预设长宽比阈值的情况下，确定低置信度目标的人脸区域是否与待校正的高置信度人脸区域相邻；

若是，则将待处理图像中低置信度目标的灰度值，确定为校正后的图像中低置信度目标的灰度值。

在其中一个实施例中，上述确定低置信度目标的人脸区域是否与待校正的高置信度人脸区域相邻，包括：

按照预设扩展比例，将低置信度目标的人像识别框向外扩展，获得目标扩展框；

确定目标扩展框是否与待校正的高置信度人脸区域相交；

若是，确定低置信度目标的人脸区域与待校正的高置信度人脸区域相邻。

一种图像处理装置，上述包括：

确定模块，用于确定待处理的群拍图像中多个人像的排列情况；

校正模块，用于在群拍图像中多个人像的排列情况为排列整齐的情况下，降低校正模型的校正强度，并根据调整后的校正模型对多个人像进行合并校正；其中，校正模型用于调整图像的投影方式以降低图像的透视失真；排列整齐表征多个人像的排列位置与参考线的距离位于预设范围内。

一种电子设备，包括存储器及处理器，存储器中储存有计算机程序，上述计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述图像处理方法的步骤。

上述图像处理方法、装置、电子设备和计算机可读存储介质，电子设备确定待处理的群拍图像中多个人像的排列情况；若群拍图像中多个人像的排列情况为排列整齐，则降低校正模型的校正强度，并根据调整后的校正模型对多个人像进行合并校正；其中，校正模型用于调整图像的投影方式以降低图像的透视失真；排列整齐表征多个人像的排列位置与参考线的距离位于预设范围内。由于电子设备确定了群拍图像中多个人像的排列情况，从而可以在人像排列整齐的情况下，降低校正模型的校正强度对待处理图像的多个人像进行合并处理，既可以降低待处理图像的透视失真，又可以避免校正强度过大造成的人像排列队形出现明显的弯曲的现象；通过降低校正强度，可以避免校正后图像中边缘人脸尺寸过小，中心人脸尺寸放大导致的图像不平衡的问题，进一步地提升了图像的显示效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程图；

图3为一个实施例中图像处理方法的流程图；

图4为一个实施例中图像处理方法的示意图；

图5为一个实施例中图像处理方法的流程图；

图6为一个实施例中图像处理方法的示意图；

图7为一个实施例中图像处理方法的流程图；

图8为一个实施例中图像处理方法的流程图；

图9为一个实施例中图像处理方法的流程图；

图10为一个实施例中图像处理方法的流程图；

图11为一个实施例中图像处理装置的结构框图；

图12为一个实施例中图像处理装置的结构框图；

图13为一个实施例中图像处理装置的结构框图；

图14为一个实施例中图像处理装置的结构框图；

图15为一个实施例中图像处理装置的结构框图；

图16为一个实施例中电子设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，电子设备100可以对待处理图像200进行处理，校正待处理图像中的透视失真。上述电子设备100可以但不限于是个人电脑、移动终端、个人数字助理、可穿戴电子设备等。

图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的电子设备为例进行描述。如图2所示，图像处理方法包括：

S101、确定待处理的群拍图像中多个人像的排列情况。

上述待处理的群拍图像可以是采用广角镜头拍摄的图片，也可以是采用普通镜头拍摄的图片，在此不做限定。广角镜头可以具有超强的视野范围，广泛应用于大范围的群体人像的拍摄。但是，相机在成像过程中的透视投影会带来图像的透视失真，广角镜头的透视失真情况更为明显。对于包含多个人像的群拍图像，例如大合照场景下拍摄的图像，电子设备可以将群拍图像中的多个人像进行合并后校正。为了避免对群拍图像校正后带来的直线变弯的情况，电子设备可以先确定群拍图像中人像的排列情况，以根据不同的排列情况采用相应的策略对上述群拍图像进行校正处理。

上述多个人像可以是待处理的群拍图像中的所有人像，也可以是群拍图像中人像区域面积较大的多个人像，还可以是群拍图像中位于图像中间的多个人像，在此不做限定。

其中，上述排列情况可以包括群拍图像中人像排列整齐，以及群拍图像中人像排列不整齐，还可以包括人像排列的整齐程度；另外，上述排列情况还可以包括待处理图像中人像排列整齐的至少一个区域，在此不做限定。

具体地，电子设备在确定群拍图像中多个人像的排列情况时，可以根据群拍图像中各个人像的人脸排列位置，确定人像是否排列整齐，例如待处理图像中的人脸区域是否在同一直线上；也可以根据群拍图像中各人像区域的底端的排列情况，确定人像是否排列整齐，例如人像的脚部是否在同一直线上；对于上述排列情况的确定方式在此不做限定。

S102、若群拍图像中多个人像的排列情况为排列整齐，则降低校正模型的校正强度，并根据调整后的校正模型对多个人像进行合并校正；其中，校正模型用于调整图像的投影方式以降低图像的透视失真；排列整齐表征多个人像的排列位置与参考线的距离位于预设范围内。

其中，上述校正模型可以用于调整图像的投影方式，以降低图像的透视失真。上述校正模型可以用于将图像的透视投影方式转换成球面投影(Stereographic投影)；或者，上述校正模型还可以用于将图像的透视投影方式转换成正轴等角圆柱投影(Mercator投影)；对于上述校正模型的类型在此不做限定。上述校正模型的校正强度不同，对应的校正效果也是不同的；校正模型的校正强度越大，获得的校正后的图像的透视失真越小。以将待处理图像的透视投影方式转换成Stereographic投影的校正模型为例，校正强度越大，校正后的图像可以更趋近于理想的球面投影。

其中，上述排列整齐可以表征群拍图像中多个人像的排列位置与参考线的距离位于预设范围内。上述参考线可以是群拍图像中用于衡量人像排列情况的水平线，上述群拍图像中可以包括1条参考线，也可以包括多条参考线。上述人像的排列位置可以是人像的头部位置，也可以是人像的脚部位置，还可以是人像中其他参考位置，在此不做限定。群拍图像中各个人像的排列位置与参考线的距离位于预设范围内时，可以认为多个人像排列整齐。上述各个距离值的分布范围越小，表征人像的排列整齐程度越高；上述各个距离值的分布范围越大，表征人像的排列整齐程度越低。

若电子设备确定待处理图像中人像排列整齐，那么电子设备可以认为该待处理图像中的直线特征比较明显，经过校正模型校正之后用户比较容易感知人像队伍的直线变弯的现象。在此情况下，电子设备可以降低校正模型的校正强度，并根据调整后的校正模型对待处理图像中的人像进行合并校正。电子设备对群拍图像进行的多个人像进行合并校正时，可以通过该校正模型对群拍图像中多个人像合并形成的区域完成一次校正，获得校正后的群拍图像。

电子设备在降低校正强度时，可以将校正模型的推荐校正强度对应的参数，替换为一组预设的参数，上述预设的参数对应的校正强度小于推荐校正强度；或者，电子设备还可以根据待处理图像中人像的排列情况，确定调整后的校正强度大小，然后根据调整后的校正强度进一步确定校正模型的参数。例如，电子设备可以根据人像的排列整齐程度，确定校正强度的下降梯度。

上述校正模型的校正强度可以由模型参数来确定，电子可以通过调整多个模型参数的值来降低校正强度，也可以通过调整一个模型参数的值来降低校正强度；在此不做限定。上述模型参数的值可以与校正强度正相关，也可以与校正强度负相关。

电子设备确定群拍图像中人像排列不整齐的情况下，该群拍图像中的直线特征不明显，经过校正模型校正之后用户不容易感知人像队伍的直线变弯的现象；因此，电子设备可以将校正模型的校正强度设置为预设的推荐值，通过该校正模型对该群拍图像中的多个人像进行合并校正。

上述图像处理方法，电子设备确定待处理的群拍图像中多个人像的排列情况；若群拍图像中多个人像的排列情况为排列整齐，则降低校正模型的校正强度，并根据调整后的校正模型对多个人像进行合并校正；其中，校正模型用于调整图像的投影方式以降低图像的透视失真；排列整齐表征多个人像的排列位置与参考线的距离位于预设范围内。由于电子设备确定了群拍图像中多个人像的排列情况，从而可以在人像排列整齐的情况下，降低校正模型的校正强度对待处理图像的多个人像进行合并处理，既可以降低待处理图像的透视失真，又可以避免校正强度过大造成的人像排列队形出现明显弯曲的现象；通过降低校正强度，可以避免校正后图像中边缘人脸尺寸过小，中心人脸尺寸放大导致的图像不平衡的问题，进一步地提升了图像的显示效果。

图3为一个实施例中图像处理方法的流程示意图，本实施例涉及电子设备确定多个人像的排列情况的一种实现方式，在上述实施例的基础上，如图3所示，上述S101包括：

S201、将从群拍图像中检测到的多个人像区域进行合并，获得群拍图像的合并处理区域。

上述人像区域可以是包含了人像的矩形区域，也可以是以人像轮廓为边界的不规则区域，在此不做限定。

电子设备可以从上述群拍图像中进行人像识别，获得群拍图像中各个人像对应的人像区域；具体地，电子设备可以采用神经网络模型对群拍图像进行人像识别。在获得各个人像区域的基础上，电子设备可以将群拍图像中的各个人像区域进行合并，获得合并处理区域，以便对各个人像区域进行合并处理。其中，上述合并处理区域中的人像区域可以具有重叠区域，也可以是独立的人像区域，在此不做限定。

S202、根据合并处理区域在群拍图像中的位置，确定多个人像的排列情况。

在获得合并处理区域的基础上，电子设备可以进一步根据合并处理区域在群拍图像中的位置，确定群拍图像中多个人像的排列情况。电子设备可以根据合并处理区域是否在群拍图像中的预设区域内，确定群拍图像中的人像是否排列整齐。电子设备可以确定合并处理区域中的各个像素点是否均位于预设区域内，还可以通过合并处理区域的轮廓来判断合并处理区域是否在预设区域内。

可选地，电子设备可以提取合并处理区域的轮廓曲线；若轮廓曲线位于待处理图像的预设区域中，则确定排列情况为排列整齐；其中，上述预设区域位于两条水平参考线之间。上述两条水平参考线之间的距离小于群拍图像的宽度。上述水平参考线之间的距离可以是预设的固定值，也可以随拍摄场景的变化而调整，在此不做限定。上述两条水平参考线的位置可以为预设位置，也可以根据对群拍图像的识别结果进行调整，例如电子设备可以将群拍图像中天空或建筑物的底边设置为水平参考线。

当群拍图像中的合并处理区域的轮廓曲线位于该预设区域中时，电子设备可以认为该群拍图像中的人像排列整齐。当群拍图像中的合并处理区域的轮廓曲线存在超出该预设区域的部分曲线时，电子设备可以认为该群拍图像中的人像排列不整齐，也可以进一步对合并处理区域进行判断确定多个人像是否排列整齐。以图4所示的群拍图像为例，群拍图像中包含多个人像区域，可以如图4中的矩形框所示；通过两条水平参考线确定群拍图像的预设区域，若上述多个人像区域形成的合并处理区域的轮廓曲线位于预设区域内，电子设备可以认为多个人像排列整齐。

上述图像处理方法，电子设备将群拍图像中的多个人像区域进行合并，从而可以根据合并处理区域在群拍图像中的位置快速确定人像的排列情况，提升图像处理效率。

图5为一个实施例中图像处理方法的流程示意图，本实施例涉及电子设备确定多个人像的排列情况的另一种方式，在上述实施例的基础上，如图5所示，电子设备提取合并处理区域的轮廓曲线之后，还包括：

S301、若轮廓曲线存在超出预设区域的部分曲线，则在合并处理区域对应的各人脸识别框中确定目标人脸识别框；目标人脸识别框的下边框与群拍图像的底边之间的距离最小。

若轮廓曲线存在超出该预设区域的部分曲线时，电子设备可以进一步对合并处理区域进行判断确定群拍图像中的多个人像是否排列整齐。电子设备可以获取群拍图像的人脸识别结果，确定该合并处理区域对应的各个人脸识别框。其中，电子设备可以在对群拍图像进行人像识别之后，对该群拍图像进行人脸识别；电子设备还可以对该群拍图像进行失真校正处理之前，获取该群拍图像的人脸识别框，对于上述人脸识别框的获取阶段在此不做限定。

电子设备可以分别计算各个人脸识别框的下边框与图像底边之间的距离，并将距离最小的人脸识别框确定为目标人脸识别框。

S302、将合并处理区域中，下边框所在水平线与轮廓曲线的下边缘之间的区域确定为目标区域。

进一步地，电子设备可以确定目标人脸识别框的下边框所在的水平线，以及合并处理区域的下边缘，然后将该水平线与下边缘之间的合并处理区域确定为目标区域。电子设备可以根据该目标区域的分布情况，确定群拍图像中的人像是否排列整齐。

S303、按照垂直方向将目标区域划分成多个子区域。

在确定了目标区域的基础上，电子设备可以按照垂直方向将该目标区域划分为多个子区域。电子设备可以按照预设水平宽度，将该目标区域划分为多个子区域，也可以按照预设的宽度比值对该目标区域进行划分，在此不做限定。也就是说，上述多个子区域的宽度可以相同，也可以不同。

电子设备可以将目标区域划分成多个子区域，上述子区域的数量可以是3个，也可以是5个或者其他数量，在此不做限定。

S304、根据各子区域的面积，确定群拍图像中多个人像的排列情况。

在确定了各个子区域之后，电子设备可以分别计算各个子区域的面积，然后根据各个子区域的面积确定群拍图像中人像的排列情况。其中，电子设备可以根据各个子区域的面积比值来确定人像是否排列整齐，也可以根据各个子区域之间的面积差值，来确定人像是否排列整齐；或者，电子设备还可以计算各个子区域的面积比值之间的差值，根据上述比值的差值确定人像是否排列整齐；对于上述排列情况的确定方式在此不做限定。

可选地，电子设备按照预设宽度将将目标区域划分成多个子区域的情况下，可以分别计算任意两个子区域之间的面积比值；若各面积比值均位于预设阈值范围，则确定排列情况为排列整齐；若任意一个面积比值超出预设阈值范围，则确定排列情况为排列不整齐。上述各个子区域的面积差异越小，电子设备可以认为该群拍图像中的人像排列越整齐。上述预设阈值范围可以是0.8到1.2，也可以是0.75到1.25，还可以是其他范围，在此不做限定。

以图6所示群拍图像为例，上述目标区域如图中阴影部分所示，电子设备可以将目标区域划分为左、中、右三个区域，然后分别计算任意两个子区域之间的面积比值，包括左边区域与中间区域的第一比值，左边区域与右边区域的第二比值以及中间区域与区域的第三比值。若上述三个比值均位于预设阈值范围[0.8,1.2]内，则确定该群拍图像中多个人像排列整齐。

上述图像处理方法，电子设备通过确定目标区域，并将目标区域划分成多个子区域后，根据各个子区域的面积确定排列情况，使得电子设备在合并处理区域未全部位于预设区域的情况下，可以更准确地获得人像的排列情况，从而可以对群拍图像更准确地进行失真校正，提升了图像的显示效果。

图7为一个实施例中图像处理方法的流程示意图，本实施例涉及电子设备确定待处理图像是否为群拍图像的一种方式，在上述实施例的基础上，如图7所示，上述S101之前，还包括：

S401、对待处理图像进行人脸识别，获得待处理图像对应的人脸识别框。

在获取待处理图像之后，电子设备可以对待处理图像进行人脸识别，获得待处理图像对应的人脸识别框。上述待处理图像可以对应1个人脸识别框，也可以对应多个人脸识别框，在此不做限定。电子设备可以将待处理图像输入人脸识别模型，获得模型输出的标记人脸识别框的图像。

S402、统计待处理图像对应的人脸识别框的数量，并获取各人脸识别框中面积最大的人脸识别框。

电子设备可以统计该待处理图像对应的人脸识别框的数量，并计算各个人脸识别框的尺寸，确定该待处理图像中面积最大的人脸识别框。

S403、若人脸识别框的数量大于预设数量阈值，且面积最大的人脸识别框小于预设面积阈值，则确定待处理图像为待处理的群拍图像。

电子设备中可以存储预设数量阈值，以及预设面积阈值。在上述步骤的基础上，电子设备可以将人脸识别框的数量与上述预设数量阈值进行比较，并且将上述人脸识别框的最大面积值与预设面积阈值进行比较，根据比较结果确定该待处理图像是否为群拍图像。

若上述人脸识别框的数量大于预设数量阈值，电子设备可以认为该待处理图像中包含的人像较多，可能为群拍图像；若面积最大的人脸识别框小于预设面积阈值，电子设备可以认为该图像中不是针对一个人拍摄的图像，上述待处理图像中的多个人像并不是背景图像。因此，若人脸识别框的数量大于预设数量阈值，且面积最大的人脸识别框小于预设面积阈值，电子设备可以认为待处理图像为待处理的群拍图像。

若人脸识别框的数量小于或等于预设数量阈值，或面积最大的人脸识别框大于或等于预设面积阈值，电子设备可以认为该待处理图像不是群拍图像，不适用于上述实施例中的图像处理方法对该图像进行失真校正，电子设备可以采用预设的校正模型对待处理图像中的人像分别进行校正。

上述图像处理方法，电子设备通过待处理图像中的人脸数量以及面积最大的人脸识别框，确定待处理图像是否为群拍图像，从而为待处理图像确定更匹配的图像处理方式，使得处理后的图像显示效果更好。

图8为一个实施例中图像处理方法的流程示意图，本实施例涉及电子设备对待处理图像中的人像分别进行校正的一种方式，在上述实施例的基础上，如图8所示，上述校正过程包括：

S501、识别待处理图像中的低置信度目标与高置信度目标；其中，低置信度目标为不具有对应的人脸识别框的人像区域；高置信度目标为具有对应的人脸识别框的人像区域。

电子设备可以同时对待处理图像进行人脸识别和人像识别，获得待处理图像对应的人脸识别框和人像区域。进一步地，电子设备可以根据各个人脸识别框和人像区域的位置，将人像区域与人脸识别框进行匹配。若人像区域具有对应的人脸识别框，那么电子设备可以将该人像区域确定为高置信度目标；若人像区域不具有对应的人脸识别框，那么电子设备可以将该人像区域确定为低置信度区目标。

S502、将人脸变形超出预设范围的高置信度目标的人脸区域，确定为待校正的高置信度人脸区域，并采用校正模型对待校正的高置信度人脸区域进行校正。

对于高置信度目标，电子设备可以通过预设算法模型确定该高置信度目标的人脸区域是否变形。电子设备可以获得高置信度目标的人脸变形参数，然后将上述变形参数与预设参数范围进行比较，确定该人脸区域的变形参数是否超出预设范围；或者，电子设备还可以将高置信度目标的人脸区域输入预设算法模型，通过该算法模型输出人脸变形是否超出预设范围的结果。

若高置信度目标的人脸变形超出预设范围，电子设备可以确定其人脸区域为待校正的高置信度人脸区域，可以采用校正模型对待校正的高置信度人脸区域进行校正。上述校正模型的校正强度可以是预设的推荐校正强度，也可以是电子设备根据人脸变形情况确定的校正强度，在此不做限定。若高置信度目标的人脸变形未超出预设范围，电子设备可以认为不需要对该人脸区域进行校正。

对于低置信度目标，由于未识别到该人像区域对应的人脸识别框，电子设备可以不对该低置信度目标进行校正。电子设备对待处理图像中的高置信度目标的人脸区域进行校正时，可能对低置信度目标产生拉伸，导致低置信度目标变形更严重，或者将低置信度目标当成背景处理。因此，电子设备可以对低置信度目标进一步分析，确定是否需要对低置信度目标的灰度值进行保护，避免其他目标校正过程导致低置信度的畸变。

上述图像处理方法，电子设备通过识别待处理图像中的高置信度目标和低置信度目标，从而可以针对各个人像区域采用相应的图像处理方式进行处理，既可以校正高置信度目标的人脸失真，又可以避免低置信度目标被当成背景处理，使得图像显示更逼真。

图9为一个实施例中图像处理方法的流程示意图，本实施例涉及电子设备对低置信度目标的一种处理方式，在上述实施例的基础上，如图9所示，上述方法还包括：

S601、计算低置信度目标的长宽比。

上述低置信度目标可以为矩形人像区域，电子设备在对低置信度目标进行处理时，可以先计算低置信度目标的长宽比，根据上述长宽比确定是否需要对低置信度目标的灰度值进行保护。

S602、在长宽比大于预设长宽比阈值的情况下，确定低置信度目标的人脸区域是否与待校正的高置信度人脸区域相邻。

在上述步骤的基础上，电子设备可以将低置信度目标的长宽比与预设长宽比阈值进行比较。若长宽比小于或等于预设长宽比阈值，电子设备可以认为该低置信度目标的长宽比与正常人像的长宽比不符，不需要对该低置信度目标的灰度值进行保护。

若长宽比大于预设长宽比阈值，电子设备可以进一步确定该低置信度目标附近是否存在待校正的高置信度人脸区域。若低置信度目标的人脸区域与待校正的高置信度人脸区域相邻，对该高置信度人脸区域的校正过程可能导致低置信度目标拉伸产生畸变；若低置信度目标的人脸区域与待校正的高置信度人脸区域不相邻，电子设备可以认为对高置信度人脸区域的校正不会对低置信度目标的灰度值产生影响。

电子设备可以计算低置信度目标的边框与待校正的高置信度人脸区域之间距离，然后根据距离值确定低置信度目标的人脸区域是否与待校正的高置信度人脸区域相邻；或者，电子设备还可以计算低置信度目标的灰度值与待校正的高置信度人脸区域的灰度值之间的相关系数，确定低置信度目标是否与待校正的高置信度人脸区域相交，在此不做限定。

可选地，电子设备可以按照预设扩展比例，将低置信度目标的人像识别框向外扩展，获得目标扩展框；然后，确定目标扩展框是否与待校正的高置信度人脸区域相交；若是，确定低置信度目标的人脸区域与待校正的高置信度人脸区域相邻。例如，上述待处理图像的分辨率为640x480，上述预设扩展比例可以是六分之一，电子设备可以将低置信度目标的人像识别框向外扩展六分之一，然后确定确定后的目标扩展框中是否包含了待校正的高置信度人脸区域的像素。

S603、若是，则将待处理图像中低置信度目标的灰度值，确定为校正后的图像中低置信度目标的灰度值。

若低置信度目标的人脸区域与待校正的高置信度人脸区域相邻，电子设备可以将待处理图像中该低置信度目标的灰度值进行保存，然后将其确定为校正后的图像中低置信度目标的灰度值，使得低置信度目标的灰度值在图像处理前后保持不变。

上述图像处理方法，电子设备通过对低置信度目标的灰度值进行保护，保持图像处理前后该区域的灰度值不变，可以避免图像处理过程将低置信度目标当成背景处理，避免低置信度目标的人脸拉伸，使得图像显示效果更佳。

在一个实施例中，在上述实施例的基础上，提供一种图像处理方法，如图10所示，包括：

S701、对待处理图像进行人脸识别，获得待处理图像对应的人脸识别框。

S702、统计待处理图像对应的人脸识别框的数量，并获取各人脸识别框中面积最大的人脸识别框。若人脸识别框的数量大于预设数量阈值，且面积最大的人脸识别框小于预设面积阈值，则确定待处理图像为待处理的群拍图像，并执行步骤S703；若人脸识别框的数量小于或等于预设数量阈值，或面积最大的人脸识别框大于或等于预设面积阈值，则执行步骤S711。

S703、将从群拍图像中检测到的多个人像区域进行合并，获得群拍图像的合并处理区域。

S704、提取合并处理区域的轮廓曲线；若轮廓曲线存在超出预设区域的部分曲线，则执行S705；若轮廓曲线位于待处理图像的预设区域中，则执行S709。

S705、在合并处理区域对应的各人脸识别框中确定目标人脸识别框。

S706、将合并处理区域中，下边框所在水平线与轮廓曲线的下边缘之间的区域确定为目标区域。

S707、按照垂直方向将目标区域划分成多个子区域。

S708、分别计算任意两个子区域之间的面积比值；若各面积比值均位于预设阈值范围内，则执行S709；若任意一个面积比值超出预设阈值范围，则执行S710。

S709、降低校正模型的校正强度，并根据调整后的校正模型对多个人像进行合并校正。

S710、将校正模型的校正强度设置为预设的推荐值，采用校正模型对群拍图像中的多个人像进行合并校正。

S711、识别待处理图像中的低置信度目标与高置信度目标；对于高置信度目标执行S712；对于低置信度目标执行S713。

S712、将人脸变形超出预设范围的高置信度目标的人脸区域，确定为待校正的高置信度人脸区域，并采用校正模型对待校正的高置信度人脸区域进行校正。

S713、计算低置信度目标的长宽比。

S714、在长宽比大于预设长宽比阈值的情况下，确定低置信度目标的人脸区域是否与待校正的高置信度人脸区域相邻；若是，则执行S715。

S715、待处理图像中低置信度目标的灰度值，确定为校正后的图像中低置信度目标的灰度值。

上述图像处理方法，与上述实施例中的实现原理和技术效果类似，在此不做赘述。

应该理解的是，虽然图2-10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图11为一个实施例的图像处理装置的结构框图。如图11所示，上述装置包括：

确定模块10，用于确定待处理的群拍图像中多个人像的排列情况；

校正模块20，用于在群拍图像中多个人像的排列情况为排列整齐的情况下，降低校正模型的校正强度，并根据调整后的校正模型对多个人像进行合并校正；其中，校正模型用于调整图像的投影方式以降低图像的透视失真；排列整齐表征多个人像的排列位置与参考线的距离位于预设范围内。

在一个实施例中，在上述实施例的基础上，如图12所示，上述确定模块10包括：

合并单元101，用于将从群拍图像中检测到的多个人像区域进行合并，获得群拍图像的合并处理区域；

第一确定单元102，用于根据合并处理区域在群拍图像中的位置，确定多个人像的排列情况。

在一个实施例中，在上述实施例的基础上，上述第一确定单元102具体用于：提取合并处理区域的轮廓曲线；若轮廓曲线位于待处理图像的预设区域中，则确定排列情况为排列整齐；预设区域位于两条水平参考线之间。

在一个实施例中，在上述实施例的基础上，如图13所示，上述确定模块10还包括第二确定单元103，用于：在轮廓曲线存在超出预设区域的部分曲线的情况下，在合并处理区域对应的各人脸识别框中确定目标人脸识别框；目标人脸识别框的下边框与群拍图像的底边之间的距离最小；将合并处理区域中，下边框所在水平线与轮廓曲线的下边缘之间的区域确定为目标区域；按照垂直方向将目标区域划分成多个子区域；根据各子区域的面积，确定群拍图像中多个人像的排列情况。

在一个实施例中，在上述实施例的基础上，上述第二确定单元103，具体用于：分别计算任意两个子区域之间的面积比值；若各面积比值均位于预设阈值范围内，则确定排列情况为排列整齐；若任意一个面积比值超出预设阈值范围，则确定排列情况为排列不整齐。

在一个实施例中，在上述实施例的基础上，如图14所示，上述装置还包括识别模块30，用于：对待处理图像进行人脸识别，获得待处理图像对应的人脸识别框；统计待处理图像对应的人脸识别框的数量，并获取各人脸识别框中面积最大的人脸识别框；若人脸识别框的数量大于预设数量阈值，且面积最大的人脸识别框小于预设面积阈值，则确定待处理图像为待处理的群拍图像。

在一个实施例中，在上述实施例的基础上，如图15所示，上述装置还包括分别校正模块40，用于：在人脸识别框的数量小于或等于预设数量阈值，或面积最大的人脸识别框大于或等于预设面积阈值的情况下，采用校正模型对待处理图像中的人像分别进行校正。

在一个实施例中，在上述实施例的基础上，上述分别校正模块40具体用于：识别待处理图像中的低置信度目标与高置信度目标；其中，低置信度目标为不具有对应的人脸识别框的人像区域；高置信度目标为具有对应的人脸识别框的人像区域；将人脸变形超出预设范围的高置信度目标的人脸区域，确定为待校正的高置信度人脸区域，并采用校正模型对待校正的高置信度人脸区域进行校正。

在一个实施例中，在上述实施例的基础上，上述装置还包括保护模块，用于：计算低置信度目标的长宽比；在长宽比大于预设长宽比阈值的情况下，确定低置信度目标的人脸区域是否与待校正的高置信度人脸区域相邻；若是，则将待处理图像中低置信度目标的灰度值，确定为校正后的图像中低置信度目标的灰度值。

在一个实施例中，在上述实施例的基础上，上述保护模块具体用于：按照预设扩展比例，将低置信度目标的人像识别框向外扩展，获得目标扩展框；确定目标扩展框是否与待校正的高置信度人脸区域相交；若是，确定低置信度目标的人脸区域与待校正的高置信度人脸区域相邻。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图16为一个实施例中电子设备的内部结构示意图。如图16所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

确定待处理的群拍图像中多个人像的排列情况；

若所述群拍图像中多个人像的排列情况为排列整齐，则降低校正模型的校正强度，并根据调整后的校正模型对所述多个人像进行合并校正；其中，所述校正模型用于调整图像的投影方式以降低图像的透视失真；所述排列整齐表征所述多个人像的排列位置与参考线的距离位于预设范围内。

2.根据权利要求1所述的方法，其特征在于，所述确定待处理的群拍图像中多个人像的排列情况，包括：

将从所述群拍图像中检测到的多个人像区域进行合并，获得所述群拍图像的合并处理区域；

根据所述合并处理区域在所述群拍图像中的位置，确定所述多个人像的排列情况。

3.根据权利要求2所述的方法，其特征在于，所述根据所述合并处理区域在所述群拍图像中的位置，确定所述多个人像的排列情况，包括：

提取所述合并处理区域的轮廓曲线；

若所述轮廓曲线位于所述待处理图像的预设区域中，则确定所述排列情况为所述排列整齐；所述预设区域位于两条水平参考线之间。

4.根据权利要求3所述的方法，其特征在于，所述提取所述合并处理区域的轮廓曲线之后，还包括：

若所述轮廓曲线存在超出所述预设区域的部分曲线，则在所述合并处理区域对应的各人脸识别框中确定目标人脸识别框；所述目标人脸识别框的下边框与所述群拍图像的底边之间的距离最小；

将所述合并处理区域中，所述下边框所在水平线与所述轮廓曲线的下边缘之间的区域确定为目标区域；

按照垂直方向将所述目标区域划分成多个子区域；

根据各所述子区域的面积，确定所述群拍图像中多个人像的排列情况。

5.根据权利要求4所述的方法，其特征在于，所述根据各所述子区域的面积，确定所述群拍图像中多个人像的排列情况，包括：

分别计算任意两个子区域之间的面积比值；

若各所述面积比值均位于预设阈值范围内，则确定所述排列情况为所述排列整齐；

若任意一个面积比值超出所述预设阈值范围，则确定所述排列情况为排列不整齐。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述确定待处理的群拍图像中多个人像的排列情况之前，还包括：

对待处理图像进行人脸识别，获得所述待处理图像对应的人脸识别框；

统计所述待处理图像对应的人脸识别框的数量，并获取各所述人脸识别框中面积最大的人脸识别框；

若所述人脸识别框的数量大于预设数量阈值，且所述面积最大的人脸识别框小于预设面积阈值，则确定所述待处理图像为所述待处理的群拍图像。

7.根据权利要求6所述的方法，其特征在于，所述统计所述待处理图像对应的人脸识别框的数量，并获取各所述人脸识别框中面积最大的人脸识别框之后，还包括：

若所述人脸识别框的数量小于或等于预设数量阈值，或所述面积最大的人脸识别框大于或等于预设面积阈值，则采用所述校正模型对所述待处理图像中的人像分别进行校正。

8.根据权利要求7所述的方法，其特征在于，所述采用所述校正模型对所述待处理图像中的人像分别进行校正，包括：

识别所述待处理图像中的低置信度目标与高置信度目标；其中，所述低置信度目标为不具有对应的人脸识别框的人像区域；所述高置信度目标为具有对应的人脸识别框的人像区域；

将人脸变形超出预设范围的高置信度目标的人脸区域，确定为待校正的高置信度人脸区域，并采用所述校正模型对所述待校正的高置信度人脸区域进行校正。

9.根据权利要求8所述的方法，其特征在于，所述识别所述待处理图像中的低置信度目标与高置信度目标之后，还包括：

计算所述低置信度目标的长宽比；

在所述长宽比大于预设长宽比阈值的情况下，确定所述低置信度目标的人脸区域是否与所述待校正的高置信度人脸区域相邻；

若是，则将所述待处理图像中所述低置信度目标的灰度值，确定为校正后的图像中所述低置信度目标的灰度值。

10.根据权利要求9所述的方法，其特征在于，所述确定所述低置信度目标的人脸区域是否与所述待校正的高置信度人脸区域相邻，包括：

按照预设扩展比例，将所述低置信度目标的人像识别框向外扩展，获得目标扩展框；

确定所述目标扩展框是否与所述待校正的高置信度人脸区域相交；

若是，确定所述低置信度目标的人脸区域与待校正的高置信度人脸区域相邻。

11.一种图像处理装置，其特征在于，包括：

确定模块，用于确定待处理的群拍图像中多个人像的排列情况；

校正模块，用于在所述群拍图像中多个人像的排列情况为排列整齐的情况下，降低校正模型的校正强度，并根据调整后的校正模型对所述多个人像进行合并校正；其中，所述校正模型用于调整图像的投影方式以降低图像的透视失真；所述排列整齐表征所述多个人像的排列位置与参考线的距离位于预设范围内。

12.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述的图像处理方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的方法的步骤。

Images