CN112637482A

CN112637482A - 图像处理方法、装置、存储介质及电子设备

Info

Publication number: CN112637482A
Application number: CN202011443762.0A
Authority: CN
Inventors: 蔡星
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2021-04-09
Anticipated expiration: 2040-12-08
Also published as: CN112637482B

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该方法包括：在当前帧图像中识别目标对象；若根据所述当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则从所述前一帧图像中确定出所述遗漏对象的位置，所述遗漏对象在所述当前帧图像中未被识别为目标对象但在所述前一帧图像中被识别为目标对象；根据所述遗漏对象在所述前一帧图像中的位置，在所述当前帧图像中确定出所述遗漏对象的位置；根据所述遗漏对象在所述当前帧图像中的位置，对所述当前帧图像中的遗漏对象的图像进行校正。本申请可以提升电子设备拍摄的图像的成像质量。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请属于电子设备技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

随着技术的发展，电子设备上配置的摄像模组以及图像处理软件的功能越来越强大。基于此，用户经常会使用电子设备进行图像或视频拍摄，如用户使用电子设备进行拍照或录制视频等。用户在拍摄图像前有时会先进行预览，或者对拍摄的视频进行浏览。然而，相关技术中，在预览或浏览过程中，电子设备拍摄的图像的成像质量较差。

发明内容

本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以提升电子设备拍摄的图像的成像质量。

第一方面，本申请实施例提供一种图像处理方法，包括：

在当前帧图像中识别目标对象；

若根据所述当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则从所述前一帧图像中确定出所述遗漏对象的位置，所述遗漏对象在所述当前帧图像中未被识别为目标对象但在所述前一帧图像中被识别为目标对象；

根据所述遗漏对象在所述前一帧图像中的位置，在所述当前帧图像中确定出所述遗漏对象的位置；

根据所述遗漏对象在所述当前帧图像中的位置，对所述当前帧图像中的遗漏对象的图像进行校正。

第二方面，本申请实施例提供一种图像处理装置，包括：

识别模块，用于在当前帧图像中识别目标对象；

第一确定模块，用于若根据所述当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则从所述前一帧图像中确定出所述遗漏对象的位置，所述遗漏对象在所述当前帧图像中未被识别为目标对象但在所述前一帧图像中被识别为目标对象；

第二确定模块，用于根据所述遗漏对象在所述前一帧图像中的位置，在所述当前帧图像中确定出所述遗漏对象的位置；

校正模块，用于根据所述遗漏对象在所述当前帧图像中的位置，对所述当前帧图像中的遗漏对象的图像进行校正。

第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的图像处理方法中的流程。

第四方面，本申请实施例还提供一种电子设备，包括存储器，处理器以及摄像模组，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的图像处理方法中的流程。

本申请实施例中，电子设备可以在当前帧图像中识别目标对象，若根据当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出当前帧图像中存在遗漏对象，则从前一帧图像中确定出遗漏对象的位置，遗漏对象在当前帧图像中未被识别为目标对象但在前一帧图像中被识别为目标对象；根据遗漏对象在前一帧图像中的位置，可以在当前帧图像中确定出遗漏对象的位置。之后，根据遗漏对象在当前帧图像中的位置，对当前帧图像中的遗漏对象的图像进行校正。即，本申请实施例中，前后帧图像是连续的图像，在位置上相差极其微小，因此可以根据遗漏对象在前一帧图像中的位置，在当前帧图像中确定出遗漏对象的位置，实现对遗漏对象的跟踪，这样可以防止由于在目标对象识别过程中未识别到遗漏对象引起的图像抖动，另外，通过对遗漏对象的图像进行校正，可以防止图像畸变。因此，本申请实施例可以提升电子设备拍摄的图像的成像质量。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。

图1是本申请实施例提供的图像处理方法的第一种流程示意图。

图2是相关技术中相机成像时透视投影(Perspective Projection)的示意图。

图3是本申请实施例提供的图像处理方法的第二种流程示意图。

图4是本申请实施例提供的图像处理方法的第三种流程示意图。

图5是本申请实施例提供的在当前帧图像中识别目标对象的场景示意图。

图6是本申请实施例提供的在前一帧图像中识别目标对象的场景示意图。

图7是本申请实施例提供的在当前帧图像中进行图像分割的场景示意图。

图8是本申请实施例提供的对前一帧图像中的目标对象矩形框进行扩展的场景示意图。

图9是本申请实施例提供的在当前帧图像中确定出遗漏对象的掩模图像的位置的场景示意图。

图10是本申请实施例提供的确定遗漏对象在当前帧图像中的目标对象矩形框的位置的场景示意图。

图11是本申请实施例提供的对当前帧图像中的目标对象矩形框进行扩展的场景示意图。

图12是本申请实施例提供的图像处理装置的结构示意图。

图13是本申请实施例提供的电子设备的结构示意图。

图14是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

可以理解的是，本申请实施例的执行主体可以是诸如智能手机、平板电脑或相机等具有摄像模组的电子设备。

请参阅图1，图1是本申请实施例提供的图像处理方法的第一种流程示意图，流程可以包括：

101、在当前帧图像中识别目标对象。

随着技术的发展，电子设备上配置的摄像模组以及图像处理软件的功能越来越强大。基于此，用户经常会使用电子设备进行图像或视频拍摄，如用户使用电子设备进行拍照或录制视频等。

比如，以相机作为示例。请参阅图2，图2是相关技术中相机成像时透视投影(Perspective Projection)的示意图。该相机可以是单独的相机，也可以是诸如智能手机或平板电脑等电子设备上配备的相机。相关技术中，当相机在拍摄时，相机成像原理中透视投影会引起物体形状的变化，但是可以保持图像中的直线不会畸变。

如图2中的透视投影的畸变，同样大小的圆形在不同视场角度下投影面的大小不同，比如，在视场角度为α时，圆形在投影面上投影的长度为L_α，在在视场角度为β时，圆形在投影面上投影的长度为L_β，在视场角度为γ时，圆形在投影面上投影的长度为L_γ，其中，α<β<γ，L_α<L_β<L_γ。由此可知，该圆形在不同视场角度下在投影面上的投影长度是不同的，这正是透视投影导致图像形状畸变的原因。比如，当投影物体为球形物体时，该球形物体在广角相机中会被投影成为椭圆形，其投影也产生了形状的畸变。透视投影虽然无法保证物体形状，但是其优势在于可以保持图像中直线的形状，既可以保证投影物体中直线的形状，也能保证背景中直线的形状。

针对透视投影带来的图像畸变，有很多方法可以进行校正。比如可以使用诸如球面投影(Stereographic Projection)，圆鱼眼/立体投影(Pannini Projection)等。这些投影的优势在于可以保证局部图像的形状，比如，对于大物体，可以保证该大物体的局部图像的形状，对于小物体，可以保证该小物体的整体图像的形状。例如一个圆球物体投影后依然保持是圆形，但是这些无法保证图像中直线的形状，直线可能会发生弯曲，即物体或背景中的直线会发生弯曲。

为了解决如上问题，许多学者对基于图像内容的上述两种投影畸变的校正方法进行相关研究，这一类畸变校正方法可以校正透视畸变的同时最大程度的保持背景直线。然而，该类畸变校正方法仅可以应用于拍照功能中，即针对单张静止的图像进行校正，主要用于校正拍照中人脸的透视畸变，如用于校正前置或者后置超广角的人像拍摄中人脸的透视畸变的校正。但并不能应用于具有连续帧图像的预览或视频浏览场景中的畸变校正。即，在拍照场景下，由于对发生畸变的图像进行了校正，当启动电子设备的拍摄按钮进行拍摄后，在电子设备的相册中呈现的是校正后的图像，即真实的图像。而在具有连续帧图像的预览或视频浏览的场景下，由于相关技术中没有针对连续帧图像的预览或视频浏览的畸变校正功能，因此在具有连续帧图像的预览或视频浏览过程中，呈现给用户的是畸变的图像，不是真实的图像。

由此可知，在拍照场景下与在具有连续帧图像的预览或视频浏览场景下呈现给用户的图像是有差异的，即在拍照场景下呈现的是真实的图像，而在具有连续帧图像的预览或视频浏览场景下呈现的是畸变的图像。特别是图像中的对象以及对象周边的背景部分，在具有连续帧图像的预览或视频浏览场景下，其成像效果远不如在拍照场景下的成像效果。其中，上述对象指的是图像中用户感兴趣的区域，可以理解的是，该对象可以是人脸或其它物体的面部等。该对象可以包括目标对象和遗漏对象，其中，目标对象为在当前帧图像中识别出的对象，遗漏对象为在当前帧图像中未被识别为目标对象，但在前一帧图像中被识别为目标对象。

相关技术中，用户使用电子设备在拍摄前，有时会先进行预览，以提前预知拍摄的图像的成像效果。或者，用户使用电子设备拍摄视频时，有时会在拍摄视频过程中浏览视频，有时会在拍完摄视频后，对拍摄的视频进行浏览，以观看拍摄的视频效果。然而，相关技术中，在用户预览图像或浏览视频过程中，通常会由于检测不到图像中的部分对象，如图像中有多个人脸，通常会因为检测不到图像中的部分人脸，导致出现图像抖动现象。另外，由于电子设备在成像时，透视投影方式本身会带来图像畸变，而相关技术中没有针对具有连续帧图像的预览或视频浏览场景下的图像畸变校正功能，因此电子设备拍摄的图像的成像质量较差。

在本申请实施例中，比如，获取当前帧图像，该当前帧图像可以是具有连续帧图像的预览场景或视频浏览场景中的当前帧图像。例如，用户在使用电子设备拍摄图像之前，首先在电子设备上进行图像的预览，此时电子设备可以获取该预览场景下的当前帧图像。又如，用户在使用电子设备拍摄视频过程中，可以对拍摄过程中的视频进行浏览，此时电子设备可以获取该视频浏览场景下的当前帧图像。再如，用户在使用电子设备拍摄完视频后，对拍摄后的视频进行浏览，此时电子设备可以获取视频浏览场景下的当前帧图像。

在获取当前帧图像后，电子设备可以在当前帧图像中识别目标对象。该目标对象为在当前帧图像中用户感兴趣的区域。可以理解的是，电子设备对当前帧图像中的所有目标对象进行识别，目标对象的个数可以是一个或多个，比如，若当前帧图像中有一个目标对象，则对该一个目标对象进行识别，若当前帧图像中有三个目标对象，则对该三个目标对象进行识别，等等。

需要说明的是，在对当前帧图像中的目标对象进行识别时，有可能会出现识别不到部分目标对象的现象，即该当前帧图像中虽然存在这些目标对象，但在目标对象识别时，却识别不到这些目标对象。

比如，在一种实施例方式中，对于识别出的目标对象，可以为每个目标对象分配唯一的身份标识(IDentity,ID)号，即同一个目标对象对应同一个ID号，通过ID号可以区分不同的目标对象。ID号可以用单独数字表示，也可以单独用字符表示，还可以用数字和字符表示，本申请实施例对ID号的表示方式不做限制。通过设置ID号，方便对目标对象的跟踪，即通过跟踪目标对象对应的ID号，可以实现对目标对象的跟踪。

需要说明的是，目标对象(或遗漏对象)可以是人脸以及除人脸之外的其它物体的面部，如雕塑的面部、动物的面部等。因此，目标对象(或遗漏对象)包含有对应于各人脸的图像，以及对应于各物体的面部图像。

102、若根据当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出当前帧图像中存在遗漏对象，则从前一帧图像中确定出遗漏对象的位置，遗漏对象在当前帧图像中未被识别为目标对象但在前一帧图像中被识别为目标对象。

比如，在当前帧图像中识别出目标对象后，可以将从当前帧图像中识别出的目标对象与从前一帧图像中识别出的目标对象进行对比。例如，在识别出当前帧图像中的目标对象后，可以得到这些目标对象对应的ID号。在识别出前一帧图像中的目标对象后，也会得到前一帧图像中目标对象的ID号。可以将当前帧图像中识别出的目标对象对应的ID号与到前一帧图像中识别出的目标对象的ID号进行对比，即对比当前帧图像中识别出的目标对象对应的ID号与到前一帧图像中识别出的目标对象的ID号是否相同。

再如，在识别出当前帧图像中的目标对象后，可以得到这些目标对象对应的目标对象矩形框。在识别出前一帧图像中的目标对象后，也会得到前一帧图像中目标对象对应的目标对象矩形框。可以将当前帧图像中目标对象对应的目标对象矩形框与到前一帧图像中识别出的目标对象的目标对象矩形框进行对比，即对比当前帧图像中目标对象矩形框的数量与前一帧图像中目标对象矩形框的数量是否相同。其中，上述目标对象矩形框为用于定位目标对象位置的矩形框。

可以理解的是，该两种对比方式并不构成对本申请实施例的限制，在一些实施方式中，还可以采用其它对比方式，比如在将从当前帧图像中识别出的目标对象与从前一帧图像中识别出的目标对象进行对比时，可以将从当前帧图像中识别出的目标对象的图像内容与从前一帧图像中识别出的目标对象的图像内容进行对比，该对比方式与前两种对比方式相比，其占用的计算时间相对较长，对系统运算资源的消耗也会增加。

比如，通过将从当前帧图像中识别出的目标对象与从前一帧图像中识别出的目标对象进行对比之后，若检测到当前帧图像中存在遗漏对象，即，若根据当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出当前帧图像中存在遗漏对象，则从前一帧图像中确定出该遗漏对象的位置，该遗漏对象指的是在当前帧图像中未被识别为目标对象，但在前一帧图像中被识别为目标对象，即在前一帧图像中被检测到，而在当前帧图像中未被检测到。

例如，若前一帧图像中识别出的目标对象有四个，该四个目标对象对应的ID号为ID1、ID2、ID3和ID4，而当前帧图像中识别出的目标对象有三个，该三个目标对象的ID号为ID1、ID2和ID3，通过将从当前帧图像中识别出的目标对象与从前一帧图像中识别出的目标对象进行对比，则检测到当前帧图像中存在遗漏对象，该遗漏对象的ID号为ID4。由此可知，在前一帧图像中识别出的ID号为ID4的目标对象，在当前帧图像中未被识别出来。根据ID号为ID4，可以从前一帧图像中确定出遗漏对象的位置，该遗漏对象在前一帧图像中的位置就是前一帧图像中ID号为ID4的目标对象的位置。

103、根据遗漏对象在前一帧图像中的位置，在当前帧图像中确定出遗漏对象的位置。

比如，根据遗漏对象在前一帧图像中的位置，可以在当前帧图像中确定出遗漏对象的位置。需要说明的是，本申请实施例中，前一帧图像与当前帧图像是时序相邻的两帧图像，即前一帧图像与当前帧图像在时序上是连续的两帧图像，该两帧图像中的目标对象之间位置的偏移极其微小。由于前一帧图像与当前帧图像之间的偏移极其微小，因此，根据遗漏对象在前一帧图像中的位置，即ID号为ID4的目标对象的位置为遗漏对象在前一帧图像中的位置，可以在当前帧图像中确定出遗漏对象的位置。

104、根据遗漏对象在当前帧图像中的位置，对当前帧图像中的遗漏对象的图像进行校正。

比如，在当前帧图像中找到遗漏对象的位置后，根据该遗漏对象在当前帧图像中的位置，可以对当前帧图像中的遗漏对象的图像进行校正。例如，在当前帧图像中找到ID号为ID4的遗漏对象的位置后，根据该ID号为ID4的遗漏对象在该当前帧图像中的位置，可以对该ID号为ID4的遗漏对象的图像进行校正处理，可以防止图像畸变。通过对遗漏对象进行不断的维护更新信息和位置，进行持续跟踪，可以防止在目标对象识别过程中未识别到遗漏对象引起的图像抖动。

在进行校正时，可以采用全局数值优化的方式进行图像网格点位置的优化。在校正过程中，通过构建目标函数进行数值优化，目标函数可以表示如下，E＝λ₁x+λ₂y，其中，E表示目标函数，λ₁、λ₂表示权重，x表示背景图像中所有网格点构成的校正网格与背景参考网格的综合误差，该综合误差由背景图像中所有网格点构成的校正网格与背景参考网格之间的形状误差和位置误差确定，该形状误差与位置误差分别具有各自的权重，y表示当前帧图像中所有目标对象的图像中所有网格点构成的校正网格与目标对象参考网格的综合误差，该综合误差由当前帧图像中所有目标对象的图像中所有网格点构成的校正网格与目标对象参考网格之间的形状误差和位置误差确定，该形状误差与位置误差分别具有各自的权重。

目标函数E中要求背景图像采用透视投影方式，遗漏对象采用球面投影方式，经过投影后成像的图像保持整体过渡平滑，当计算出目标函数E后，可以得到优化的网格，利用该优化的网格对整个图像(包含背景图像和遗漏对象的图像)进行插值运算，得到校正后的图像，发生畸变的遗漏对象的图像被校正。可知，该校正方法考虑到图像中背景和需要保证形状的物体分别采用不同的投影方式，通过全局数值优化的方式进行图像网格点位置的优化，可以校正透视畸变的同时最大程度的保持背景直线。

可以理解的是，本申请实施例中，电子设备可以在当前帧图像中识别目标对象，若根据当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出当前帧图像中存在遗漏对象，则从前一帧图像中确定出遗漏对象的位置，遗漏对象在当前帧图像中未被识别为目标对象但在前一帧图像中被识别为目标对象；根据遗漏对象在前一帧图像中的位置，可以在当前帧图像中确定出遗漏对象的位置。之后，根据遗漏对象在当前帧图像中的位置，对当前帧图像中的遗漏对象的图像进行校正。即，本申请实施例中，前后帧图像是连续的图像，在位置上相差极其微小，因此可以根据遗漏对象在前一帧图像中的位置，在当前帧图像中确定出遗漏对象的位置，实现对遗漏对象的跟踪，这样可以防止由于在目标对象识别过程中未识别到遗漏对象引起的图像抖动，另外，通过对遗漏对象的图像进行校正，可以防止图像畸变。因此，本申请实施例可以提升电子设备拍摄的图像的成像质量。

另外，相关畸变校正的预览可以为用户提供一个校正结果的提前预知，如在具有连续帧图像的预览过程中，由于对遗漏对象的图像进行了畸变校正，因此用户看到的是遗漏对象校正后的图像，该遗漏对象校正后的图像即是后续拍摄的遗漏对象的图像。因此通过对预览或浏览过程的图像进行校正，可使用户事先预知电子设备拍摄的图像的成像效果。

请参阅图3，图3是本申请实施例提供的图像处理方法的第二种流程示意图，流程可以包括：

201、在当前帧图像中识别目标对象。

步骤201的具体实施可参见步骤101的实施例，在此不再赘述。

202、若根据当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出当前帧图像中存在遗漏对象，则检测电子设备是否处于预设运动状态。

比如，若根据当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出当前帧图像中存在遗漏对象，如，若通过将从当前帧图像中识别出的目标对象与从前一帧图像中识别出的目标对象进行对比，检测到当前帧图像中存在遗漏对象，例如检测到前一帧图像中ID号为ID4的目标对象在该当前帧图像中未被检测到，即在ID号为ID4的目标对象在当前帧图像中未被识别为目标对象但在前一帧图像中被识别为目标对象，则该ID号为ID4的目标对象在当前帧图像中属于遗漏对象。当检测到该遗漏对象后，可以检测电子设备是否处于预设运动状态，当然，在一些实施方式中，检测当前帧图像中是否存在遗漏对象与检测电子设备是否处于预设运动状态可以同时进行，以便于节省判断的时间，该预设运动状态可以是快速运动状态，即电子设备处于快速运动状态。

需要说明的是，电子设备运动的快慢可以通过一些传感器检测得到，比如可以通过电子设备中的陀螺仪进行检测，陀螺仪可以对电子设备的转动、偏转的动作进行精确测量，根据陀螺仪的检测数据，可以精确分析判断出用户的实际动作。因此，可以根据陀螺仪输出的测量数据的大小确定出电子设备运动的快慢，即可以确定出电子设备处于快速运动状态还是慢速运镜状态。

可以理解的是，陀螺仪输出的测量数据可以是加速度，也可以是速度。比如，当陀螺仪输出的测量数据为加速度时，若陀螺仪至少一个方向轴上加速度(指的是加速度的值，即加速度的大小)大于所在方向轴的预设加速度阈值，则确定电子设备处于预设运动状态，若陀螺仪至少一个方向轴上加速度的小于或等于所在方向轴的预设加速度阈值，则确定电子设备处于慢速运镜状态。由此可知，通过加速度的大小可以确定电子设备速度改变的快慢，即可以确定电子设备速度增加或减小的快慢。

比如，在一种实施方式中，电子设备中设有陀螺仪，202中的若根据当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出当前帧图像中存在遗漏对象，则检测电子设备是否处于预设运动状态，可以包括：

若根据当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出当前帧图像中存在遗漏对象，则获取陀螺仪在三个方向轴上感应的加速度；

根据三个方向轴上的加速度检测电子设备是否处于预设运动状态。

具体而言，在将从当前帧图像中识别出的目标对象与从前一帧图像中识别出的目标对象进行对比后，若检测到当前帧图像中存在遗漏对象，如检测到前一帧图像中存在ID号为ID4的目标对象在当前帧图像中未被识别为目标对象，即检测到ID号为ID4的目标对象在当前帧图像中为遗漏对象，则获取陀螺仪在三个方向轴上感应的加速度，比如，可以获取到陀螺仪在x轴、y轴和z轴上反应的加速度a1、a2和a3。可以根据a1、a2和a3的大小检测电子设备是否处于预设运动状态，即检测电子设备是否处于快速运动状态。

再如，当陀螺仪输出的测量数据为速度时，若陀螺仪至少一个方向轴上速度(指的是速度的值，即速度的大小)大于所在方向轴的预设速度阈值，则确定电子设备处于预设运动状态，若陀螺仪至少一个方向轴上速度的小于或等于所在方向轴的预设速度阈值，则确定电子设备处于慢速运镜状态。由此可知，通过速度的大小可以确定电子设备运动的快慢。

203、若检测到电子设备未处于预设运动状态，则从前一帧图像中确定出遗漏对象的位置。

比如，当检测电子设备是否处于预设运动状态时，若检测到电子设备未处于预设运动状态，即处于慢速运镜状态，在该慢速运镜状态下，可以从前一帧图像中确定出遗漏对象的位置，如当遗漏对象是前一帧图像中ID号为ID4的目标对象时，则遗漏对象在前一帧图像中的位置可以是ID号为ID4的目标对象在前一帧图像中的位置。

需要说明的是，若检测到电子设备处于预设运动状态，即快速运动状态，此时需要将遗漏对象的信息清空。这是由于电子设备快速运动时，前后帧图像的关联性不强，目标对象的位置关联性也不强，会影响校正的精度，因此当电子设备处于快速运动状态时，需要将遗漏对象的信息清空，以免影响后续图像校正的精度。而电子设备处于慢速运镜状态时，可以保证前后帧图像之间的一致性，通过对图像预览或视频浏览过程中的图像中的目标对象、遗漏对象或者图像分割后的物体的掩模图像进行定位，可以有效减少预览或浏览过程中未识别出遗漏对象导致的校正抖动，保证帧间连续性和平滑性。

比如，在一种实施方式中，203中的若检测到电子设备未处于预设运动状态，则从前一帧图像中确定出遗漏对象的位置，可以包括：

若三个方向轴上的加速度中的至少一个小于或等于所在方向轴的预设加速度阈值，则确定电子设备未处于预设运动状态；

从前一帧图像中确定出遗漏对象的位置。

具体而言，若三个方向轴上的加速度中的至少一个小于或等于所在方向轴的预设加速度阈值，如若x轴上的加速度a1(指的是加速度的值，即加速度的大小)小于或等于x轴的预设加速度阈值，或者，y轴上的加速度a2小于或等于y轴的预设加速度阈值，或者，z轴上的加速度a3小于或等于z轴的预设加速度阈值，或者，x轴上的加速度a1小于或等于x轴的预设加速度阈值，且y轴上的加速度a2小于或等于y轴的预设加速度阈值，或者，x轴上的加速度a1小于或等于x轴的预设加速度阈值，且z轴上的加速度a3小于或等于z轴的预设加速度阈值，或者，y轴上的加速度a2小于或等于y轴的预设加速度阈值，且z轴上的加速度a3小于或等于z轴的预设加速度阈值，或者，x轴上的加速度a1小于或等于x轴的预设加速度阈值，y轴上的加速度a2小于或等于y轴的预设加速度阈值，且z轴上的加速度a3小于或等于z轴的预设加速度阈值，则确定电子设备未处于预设运动状态，即确定电子设备未处于快速运动状态。此时，可以从前一帧图像中确定出遗漏对象的位置，如从前一帧图像中确定出ID号为ID4的遗漏对象的位置。

204、若遗漏对象在前一帧图像中不是受保护的对象，则根据遗漏对象在前一帧图像中的位置，在当前帧图像中确定出遗漏对象的位置，受保护的对象为不需要校正的对象。

比如，当检测到电子设备未处于预设运动状态时，如检测到电子设备处于慢速运镜状态，则判断遗漏对象在前一帧图像中是否为受保护的对象，可以理解的是，由于此时并不能确定遗漏对象在当前帧图像中的位置，因此无法判断遗漏对象在当前帧图像中是否为受保护的对象，只能判断遗漏对象在前一帧图像中是否为受保护的对象。其中，受保护的对象指的是不需要校正的对象。即对于受保护的对象，由于需要进行形状的保护处理，因此对于受保护的对象的图像是不需要进行校正处理的。

需要说明的是，若判断的结果为遗漏对象在前一帧图像中是受保护的对象，即遗漏对象在前一帧图像中需要进行形状保护处理，也表明了遗漏对象在前一帧图像中未发生畸变，因此在前一帧图像中需要对该遗漏对象的形状做保护处理，因此不需要对该遗漏对象的图像进行校正。

比如，当判断遗漏对象在前一帧图像中是否为受保护的对象时，若判断的结果为遗漏对象在前一帧图像中不是受保护的对象，则表明需要对当前帧图像中的遗漏对象的图像进行校正。此时，需要根据遗漏对象在前一帧图像中的位置，在当前帧图像中确定出遗漏对象的位置。例如，当前一帧图像中ID号为ID4的目标对象在当前帧中为遗漏对象时，由于前后帧图像是连续的，即前一帧图像与当前帧对象是连续的，则根据该遗漏对象在前一帧图像中的位置，在当前帧图像中确定出遗漏对象的位置，即根据ID号为ID4的遗漏对象在前一帧图像中的位置，可以在当前帧图像中确定出ID号为ID4的遗漏对象的位置。

205、若判断出遗漏对象被其它目标对象遮挡的程度小于或等于预设遮挡阈值，则将遗漏对象设置为待校正对象。

比如，在事先确定出遗漏对象在当前帧图像中的位置后，可以根据遗漏对象在当前帧图像中的位置，在当前帧图像中确定出该遗漏对象对其它目标对象遮挡的程度。例如，对遗漏对象未被识别出的原因进行判断，如果遗漏对象被其它目标对象遮挡的话，则需要判断遗漏对象被其它目标对象遮挡的程度是否大于预设遮挡阈值，若遗漏对象被其它目标对象遮挡的程度大于预设遮挡阈值，如当遗漏对象为遗漏人脸时，遗漏人脸对其它人脸遮挡的程度大于预设遮挡阈值，说明该遗漏人脸被其它人脸遮挡的程度较大，此种状态可以认为是人脸交叠状态，即遗漏对象与其它目标对象的交叠状态，此时是无法对该遗漏人脸的图像进行校正的，因此在该情况下，选择放弃对该遗漏人脸的图像的校正，保持当前帧图像的内容。

需要说明的是，本申请实施例中，若判断出遗漏对象被其它目标对象遮挡的程度小于或等于预设遮挡阈值，则将遗漏对象设置为待校正对象。即遗漏对象被其它目标对象遮挡的程度较小，此时是可以对遗漏对象的图像进行校正的，因此将遗漏对象设置为待校正对象。当遗漏对象被其它目标对象遮挡的程度为0时，则表明遗漏对象没有被其它目标对象遮挡。

需要说明的是，本申请实施例中，目标对象和遗漏对象包括人脸，对于遗漏对象与其它目标对象的非交叠状态，比如，以人脸作为示例，1.在人脸姿态为非正向脸情况下，可能会导致人脸识别时存在未识别出的遗漏人脸；2.当人脸在图像边界运动时的半脸情况下(即一半脸位于图像边界之内，另一半脸位于图像边界之外)，可能会导致人脸识别时存在未识别出的遗漏人脸；3.当人脸被手部遮挡或被除人脸之外的物体遮挡时，可能会导致人脸识别时存在未识别出的遗漏人脸。这三种情况下是识别不出人脸图像的。

由上可知，对于非正向脸状态、在图像边界运动中的半脸状态、被手部或除其它人脸之外的遮挡物遮挡的状态，确定遗漏人脸被其它人脸遮挡的程度小于或等于预设遮挡阈值。遗漏人脸未被识别出的情况会引起预览或浏览效果的人脸抖动，影响用户体验。因此需要对上述三种状态下的遗漏人脸的图像进行特别处理，即需要对遗漏人脸的图像进行校正，此时将遗漏对象设置为待校正对象。

206、在将遗漏对象设置为待校正对象之后，根据遗漏对象在当前帧图像中的位置，对当前帧图像中的遗漏对象的图像进行校正。

比如，在将遗漏对象设置为待校正对象之后，可以根据遗漏对象在当前帧图像中的位置，对当前帧图像中的遗漏对象的图像进行校正。比如，根据ID号为ID4的遗漏对象在当前帧图像中的位置，对当前帧图像中的遗漏对象的图像进行校正处理。在进行校正时，可以采用全局数值优化的方式进行图像网格点位置的优化，其具体实施例可以参见步骤104的实施例，在此不再赘述。

207、为待校正对象设置校正有效时间。

比如，在将遗漏对象设置为待校正对象后，可以为该待校正对象设置校正有效时间。设置校正有效时间主要用于限定每次可以校正的图像帧数，在该校正有效时间内，是可以对待校正对象的图像进行校正处理的，当超出校正有效时间时，则停止对待校正对象的图像的校正。例如，当设置校正有效时间为5秒时，则在该5秒时间内，是可以对待校正对象的图像进行校正的，当超出5秒时，则停止对待校正对象的图像的校正。

可以理解的是，根据设置的校正有效时间的不同，有可能在设置的校正有效时间内只校正一帧图像，比如只校正当前帧图像中的遗漏对象的图像，也有可能校正多帧图像，比如校正当前帧图像中的遗漏对象的图像以及历史帧图像中的待校正对象的图像。可以根据具体需求设置校正有效时间的大小，本申请实施例对校正有效时间的大小不做限定。

208、若判断出在历史帧图像中存在未被校正且在校正有效时间内的对象，则对当前帧图像中的遗漏对象的图像进行校正，且对历史帧图像中存在的未被校正且在校正有效时间内的对象进行校正。

比如，当为待校正对象设置校正有效时间之后，若判断出在历史帧图像中存在未被校正且在校正有效时间内的对象，历史帧图像可以是从第二帧图像至前一帧图像，即若判断出第二帧图像至前一帧图像中存在未被校正且在校正有效时间内的对象，则对当前帧图像中的遗漏对象的图像进行校正，且对历史帧图像中存在的未被校正且在校正有效时间内的对象进行校正。

例如，在校正时，一般优先选择校正当前帧图像中的遗漏对象的图像，当对当前帧图像中的遗漏对象的图像校正完毕后，若判断出在历史帧图像中存在未被校正的对象，则继续判断是否在校正有效时间内，如果历史帧图像中存在未被校正且在校正有效时间内的对象，则接着对历史帧图像中存在未被校正且在校正有效时间内的对象的图像进行校正，若当校正有效时间结束时，还未将历史帧图像中存在未被校正且在校正有效时间内的对象的图像校正完，则停止进行校正，等到校正下一帧图像中的遗漏对象的图像时，在校正有效时间内继续对历史帧图像中存在未被校正且在校正有效时间内的对象的图像进行校正，如此循环。

可以理解的是，也可以根据具体需求，优先选择校正历史帧图像中存在未被校正且在校正有效时间内的对象的图像，当校正完毕后，若还在校正有效时间内，则对当前帧图像中的遗漏对象的图像进行校正。

若在校正有效时间内将历史帧图像中存在未被校正且在校正有效时间内的对象的图像校正完后，还未超出校正有效时间，则更新校正有效时间。在对历史帧图像中存在未被校正且在校正有效时间内的对象的图像进行校正时，当电子设备处于预设运动状态时，即处于快速运动状态时，则直接对历史帧图像中存在未被校正且在校正有效时间内的对象的图像不做校正处理，当电子设备处于非快速运动状态时，则根据遗漏对象在其前一历史帧图像中的位置，确定出遗漏对象在当前历史帧图像中的位置，并对遗漏对象的图像进行位置更新。若校正有效时间为0，表示已经超出校正有效时间，则不做校正处理，若校正有效时间不为0，表示还在校正有效时间内，则对历史帧图像中存在未被校正且在校正有效时间内的对象的图像进行校正。可以采用全局数值优化的方式进行图像网格点位置的优化，其具体实施例可以参见步骤104的实施例，在此不再赘述。

需要说明的是，一般在对历史帧图像中存在的未被校正且在校正有效时间内的对象进行校正后，接着会获取下一帧图像，然后返回步骤201，如此进行循环。

本申请实施例可以根据不同用户的运镜情况，在慢速运镜预览或浏览下充分考虑帧间一致性，对预览或浏览图像中的目标对象进行定位，包括识别出来出来的目标对象、未识别出来的遗漏对象或者图像分割后的物体。本申请实施例可以有效减少预览或浏览过程中未识别出遗漏对象导致的校正抖动，保证帧间连续性和平滑性。

请参阅图4，图4是本申请实施例提供的图像处理方法的第三种流程示意图，流程可以包括：

301、在当前帧图像中识别目标对象。

比如，在获取当前帧图像后，电子设备可以在当前帧图像中识别目标对象。可以理解的是，电子设备对当前帧图像中的所有目标对象进行识别，目标对象的个数可以是一个或多个，比如，若当前帧图像中有一个目标对象，则对该一个目标对象进行识别，若当前帧图像中有三个目标对象，则对该三个目标对象进行识别，等等。

在一种实施方式中，301中在当前帧图像中识别目标对象，可以包括：

对当前帧图像中的目标对象进行识别；

为识别出的目标对象生成目标对象矩形框。

比如，请参阅图5，图5是本申请实施例提供的在当前帧图像中识别目标对象的场景示意图。当对当前帧图像中的目标对象进行识别时，当识别到目标对象时，会为该目标对象生成目标对象矩形框。图5中，在当前帧图像中识别出三个目标对象，为该三个目标对象分别生成目标对象矩形框A1、目标对象矩形框A2和目标对象矩形框A3，其中，目标对象矩形框A1中的目标对象的ID号为ID1，目标对象矩形框A2中的目标对象的ID号为ID2，目标对象矩形框A3中的目标对象的ID号为ID3。图5中的目标对象为人脸，为当前帧图像中识别出的三张人脸分别生成目标对象矩形框A1、目标对象矩形框A2和目标对象矩形框A3。目标对象矩形框A1中的人脸的ID号为ID1，目标对象矩形框A2中的人脸的ID号为ID2，目标对象矩形框A3中的人脸的ID号为ID3。

每个目标对象矩形框的四个顶点均对应一个坐标，图5中以当前帧图像的左下角顶点为坐标轴的原点，以当前帧图像的下底边为坐标轴的X轴，以前帧图像的左侧边为坐标轴的Y轴。比如，目标对象矩形框A1左下角顶点的坐标为(x1,y1)，左上角顶点的坐标为(x1,y2)，右下角顶点的坐标为(x2,y1)，右上角顶点的坐标为(x2,y2)，通过目标对象矩形框A1四个顶点的坐标，可以精确定位ID号为ID1的目标对象的位置，其它目标对象与此类似。

需要说明的是，图5中右侧的目标对象由于被遮挡物遮挡，因此没有被识别出来。由于右侧的目标对象未被识别为目标对象，因此没有生成对应右侧目标对象的目标对象矩形框。

302、若根据当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出当前帧图像中存在遗漏对象，则从前一帧图像中确定出遗漏对象的位置，遗漏对象在当前帧图像中未被识别为目标对象但在前一帧图像中被识别为目标对象。

请参阅图6，图6是本申请实施例提供的在前一帧图像中识别目标对象的场景示意图。图6中，前一帧图像中识别出的目标对象有四个，分别为四个目标对象生成对应的目标对象矩形框A1、目标对象矩形框A2、目标对象矩形框A3和目标对象矩形框A4，其中，目标对象矩形框A1中的目标对象的ID号为ID1，目标对象矩形框A2中的目标对象的ID号为ID2，目标对象矩形框A3中的目标对象的ID号为ID3，目标对象矩形框A4中的目标对象的ID号为ID4。

将图5中从当前帧图像中识别出的目标对象与图6中从前一帧图像中识别出的目标对象进行对比，即将当前帧图像中识别出的目标对象的ID号与从前一帧图像中识别出的目标对象的ID号进行对比，判断当前帧图像中识别出的目标对象的ID号与从前一帧图像中识别出的目标对象的ID号是否有差别。

通过将图5中从当前帧图像中识别出的目标对象与图6中从前一帧图像中识别出的目标对象进行对比，可知，图6中前一帧图像中ID号为ID4的目标对象被识别为目标对象，而在图5中当前帧图像中由于被遮挡物遮挡未被识别为目标对象，将图5中当前帧图像中未被识别出的ID号为ID4的目标对象作为遗漏对象，该ID号为ID4的遗漏对象在当前帧图像中未被识别为目标对象但在前一帧图中被识别为目标对象。

303、对当前帧图像进行图像分割，得到当前帧图像中的各个物体的掩模(mask)图像。

比如，请参阅图7，图7是本申请实施例提供的在当前帧图像中进行图像分割的场景示意图。将当前帧图像中的图像前景与图像背景进行分割，即图像前景与图像背景进行分离，得到图像前景的掩模图像，图像前景可以是物体，该物体可以是人体或其它除人体之外的物体，如雕塑、宠物等。图7中得到四个物体的掩模图像，分别为掩模图像M1、掩模图像M2、掩模图像M3和掩模图像M4，其中，掩模图像M1是ID号为ID1的目标对象所对应的物体的掩模图像，掩模图像M2是ID号为ID2的目标对象对应的物体的掩模图像，掩模图像M3是ID号为ID3的目标对象对应的物体的掩模图像，掩模图像M4是ID号为ID4的遗漏对象对应的物体的掩模图像。

例如，图7中的物体是人体，经过图像分割后，得到四个人体的掩模图像，分别为为掩模图像M1、掩模图像M2、掩模图像M3和掩模图像M4，其中，掩模图像M1是ID号为ID1的人脸所对应的人体的掩模图像，掩模图像M2是ID号为ID2的人脸对应的人体的掩模图像，掩模图像M3是ID号为ID3的人脸对应的人体的掩模图像，掩模图像M4是ID号为ID4的遗漏人脸对应的人体的掩模图像。

需要说明的是，虽然ID号为ID4的遗漏对象在当前帧图像中未被识别为目标对象，但是ID号为ID4的遗漏对象在当前帧图像中是存在的，因此经过图像分割后，可以得到ID号为ID4的遗漏对象对应的物体的掩模图像M4。图7中各个人体的掩模图像可以是人体轮廓。

304、根据遗漏对象在前一帧图像中的位置以及遗漏对象对应的物体的掩模图像，在当前帧图像中确定出遗漏对象的位置。

比如，由于前后帧图像在时序上是连续的，因此前后帧图像中的目标对象的位置偏移极其微小。基于此，根据遗漏对象在前一帧图像中的位置，以及遗漏对象在当前帧图像中对应的物体的掩模图像，可以在当前帧图像中确定出遗漏对象的位置。例如，根据ID号为ID4的遗漏对象在前一帧图像中的位置，即根据前一帧图像中ID号为ID4的目标对象的位置，以及ID号为ID4的遗漏对象在当前帧图像中对应的物体的掩模图像M4，由于ID号为ID4的遗漏对象是该掩模图像M4上的一部分，因此可以在该掩模图像M4上确定出ID号为ID4的遗漏对象的位置。如可以在人体的掩模图像M4上确定出ID号为ID4的遗漏人脸的位置。

比如，在一种实施方式中，304中的根据遗漏对象在前一帧图像中的位置以及遗漏对象对应的物体的掩模图像，在当前帧图像中确定出遗漏对象的位置，可以包括：

根据遗漏对象在前一帧图像中的目标对象矩形框的位置，将遗漏对象在前一帧图像中的目标对象矩形框按照预设比例进行扩展，得到遗漏对象的扩展矩形框，其中，在每一帧图像中识别目标对象时，为识别出的目标对象生成目标对象矩形框；

根据遗漏对象的扩展矩形框的位置以及遗漏对象对应的物体的掩模图像，在当前帧图像中确定出遗漏对象的掩模图像的位置；

根据遗漏对象的掩模图像的位置确定出遗漏对象在当前帧图像中的目标对象矩形框的位置。

需要说明的是，在每一帧图像中识别目标对象时，为识别出的目标对象生成目标对象矩形框，请参阅图5中当前帧图像中的目标对象矩形框A1、目标对象矩形框A2和目标对象矩形框A3，以及图6中前一帧图像中的目标对象矩形框A1、目标对象矩形框A2、目标对象矩形框A3和目标对象矩形框A4。

比如，图8是本申请实施例提供的对前一帧图像中的目标对象矩形框进行扩展的场景示意图。请一并参阅图6和图8，可以根据ID号为ID4的遗漏对象在前一帧图像中的目标对象矩形框A4的位置，即根据前一帧图像中ID号为ID4的目标对象的目标对象矩形框A4的位置，具体是根据目标对象矩形框A4在前一帧图像中四个顶点的坐标信息，将遗漏对象在前一帧图像中的目标对象矩形框A4按照预设比例进行扩展，具体是将遗漏对象在前一帧图像中的目标对象矩形框A4分别向左右方向和向上方向按照预设比例进行扩展，目标对象矩形框A4的底边的位置保持不变，扩展后得到图8中遗漏对象的扩展矩形框B4。该扩展矩形框B4需要将包含整个目标对象，比如，扩展矩形框B4包含整个人脸，扩展矩形框B4中四个顶点的坐标与目标对象矩形框A4中四个顶点的坐标相比发生了变化。

请参阅图9，图9是本申请实施例提供的在当前帧图像中确定出遗漏对象的掩模图像的位置的场景示意图。根据扩展矩形框B4在前一帧图像中四个顶点的坐标，以及遗漏对象在当前帧图像中对应的物体的掩模图像M4，可以在当前帧图像中确定出遗漏对象的掩模图像的位置。由于前后帧图像是连续的，在位置上的变化是极其微小的，因此可以将扩展矩形框B4在前一帧图像中四个顶点的坐标作为参考，可以确定出在扩展矩形框B4在当前帧图像中大概位置，该扩展矩形框B4与该遗漏对象在当前帧图像中对应的物体的掩模图像M4的相交部分，可以认为是遗漏对象的掩模图像M41的位置。即遗漏对象在当前帧图像中对应的物体的掩模图像M4中被扩展矩形框B4框住的部分，就是遗漏对象的掩模图像M41。

请参阅图10，图10是本申请实施例提供的确定遗漏对象在当前帧图像中的目标对象矩形框的位置的场景示意图。在得到当前帧图像中遗漏对象的掩模图像M41的位置后，根据遗漏对象的掩模图像M41的位置可以确定出遗漏对象在当前帧图像中的目标对象矩形框A41的位置。具体的，根据扩展矩形框B4在前一帧图像中四个顶点的坐标，将这四个顶点的坐标构成矩形框的范围在遗漏对象的掩模图像M41进行稍微缩小，可以将这四个顶点的坐标构成的矩形框按照预设比例进行缩小，向左右方向和向下方向进行缩小，即可在当前帧图像中得到与前一帧图像中目标对象矩形框A4大小大致相同的目标对象矩形框A41，根据当前帧中目标对象矩形框A41的四个顶点的坐标就可以知道目标对象矩形框A41在当前帧图像中的位置。

由此可知，由于前后帧图像的位置变化极其微小，根据前一帧图像的扩展矩形框B4的位置，大概能锁定当前帧图像中遗漏对象的掩模图像M41的位置，根据遗漏对象的掩模图像M41的位置，可以得到遗漏对象的目标对象矩形框A41的位置，为后续目标对象跟踪提供目标对象矩形框位置参考。如当目标对象为人脸时，在人脸预览/视频浏览畸变校正中，结合人脸检测和人像分割可以精确定位人脸的位置。人像分割时，通常人体的图像不会丢失，可以通过人像分割的结果，结合前后帧人脸检测的差别对未识别出的遗漏人脸进行跟踪。

305、根据遗漏对象在当前帧图像中的位置，对当前帧图像中的遗漏对象的图像进行校正。

比如，根据遗漏对象的掩模图像M41在当前帧图像中的位置，或者根据遗漏对象的目标对象矩形框A41在当前帧图像中的位置，可以对当前帧图像中的遗漏对象的图像进行校正。例如当目标对象和遗漏对象为人脸时，在当前帧图像中人脸未被识别出的情况下，可以根据人像分割结果结合未被识别出的人脸在前一帧图像中的位置，可以估计当前帧图像中未被识别出的人脸的位置，并进行校正处理。步骤305的具体实施可参见步骤104的实施例，在此不再赘述。

306、根据目标对象在当前帧图像中的位置，以及目标对象对应的物体的掩模图像，在当前帧图像中设置受保护的目标对象和待校正的目标对象。

比如，请参阅图5、图7和图9，对于当前帧图像中识别出的目标对象，即ID号为ID1、ID2和ID3的目标对象，可以根据目标对象在当前帧图像中的位置，如根据这三个目标对象在当前帧图像中的目标对象矩形框A1、目标对象矩形框A2和目标对象矩形框A3的位置，将目标对象矩形框A1、目标对象矩形框A2和目标对象矩形框A3分别按照预设比例进行扩展，其扩展方式与步骤305中遗漏对象在前一帧图像中的目标对象矩形框A4的扩展方式相同，经过扩展后，同样会得到对应的三个扩展矩形框。根据这三个扩展矩形框的位置以及三个目标对象分别对应的物体的掩模图像M1、掩模图像M2和掩模图像M3，可以精确定位出目标对象的掩模图像的位置。比如，以目标对象为人脸作为示例，根据三个扩展矩形框的位置以及三个人脸分别对应的人体的掩模图像M1、掩模图像M2和掩模图像M3，可以精确定位出每个人脸的掩模图像的位置。

根据目标对象的掩模图像的位置，可以在当前帧图像中设置受保护的目标对象和待校正的目标对象。比如，将位于当前帧图像边界位置的目标对象设置为待校正的目标对象，将位于当前帧图像非边界位置(如当前帧图像的中间视场)的目标对象设置为受保护的目标对象。可以理解的是，当在当前帧图像中设置完待校正的目标对象后，并不是直接将剩余的目标对象作为不需要校正的对象，而是通过检测目标对象在当前帧图像的位置后，再去设置受保护的对象，即，只有检测到目标对象位于图像非边界位置时，才会将其设置为受保护的目标对象，该受保护的对象不需要进行校正。

需要说明的是，本申请实施例中，可以通过设置与当前帧图像边界的预设间距阈值，来定义是否位于当前帧图像边界位置。比如，当目标对象的掩模图像与当前帧图像边界的间距小于预设间距阈值时，则认为目标对象位于当前帧图像边界位置。

对于待校正的目标对象，对其进行透视畸变校正处理，通过全局数值优化的方式进行图像网格点位置的优化，具体实施可参见步骤104的实施例，在此不再赘述。对于受保护的目标对象，对其进行形状保护处理，不做校正。

比如，在一种实施方式中，306中根据目标对象在当前帧图像中的位置，以及目标对象对应的物体的掩模图像，在当前帧图像中设置受保护的目标对象和待校正的目标对象，可以包括：

确定出目标对象在当前帧图像中的目标对象矩形框的位置，其中，在每一帧图像中识别目标对象时，为识别出的目标对象生成目标对象矩形框；

将目标对象矩形框按照预设比例进行扩展，得到目标对象的扩展矩形框；

根据目标对象的扩展矩形框的位置以及目标对象对应的物体的掩模图像，确定出目标对象的掩模图像；

将处于当前帧图像边界位置的目标对象的掩模图像设置为待校正的目标对象，且将处于当前帧图像非边界位置的目标对象的掩模图像设置为受保护的目标对象。

具体而言，首先确定出目标对象在当前帧图像中的目标对象矩形框的位置，比如，可以确定出ID号为ID1、ID2和ID3的三个目标对象在当前帧图像中的目标对象矩形框A1、目标对象矩形框A2和目标对象矩形框A3的位置，根据每个目标对象矩形框四个顶点的坐标即可确定每个目标对象矩形框的位置。

请参阅图11，图11是本申请实施例提供的对当前帧图像中的目标对象矩形框进行扩展的场景示意图。将目标对象矩形框按照预设比例进行扩展，得到目标对象的扩展矩形框。比如，在当前帧图像中，将目标对象矩形框A1按照预设比例进行扩展后，得到扩展矩形框B1，将目标对象矩形框A2按照预设比例进行扩展后，得到扩展矩形框B2，将目标对象矩形框A3按照预设比例进行扩展后，得到扩展矩形框B3。

根据ID号为ID1的目标对象的扩展矩形框B1以及ID号为ID1的目标对象对应的物体的掩模图像M1，可以确定出ID号为ID1的目标对象的掩模图像M11，同理，根据ID号为ID2的目标对象的扩展矩形框B2以及ID号为ID2的目标对象对应的物体的掩模图像M2，可以确定出ID号为ID2的目标对象的掩模图像M21，根据ID号为ID3的目标对象的扩展矩形框B3以及ID号为ID3的目标对象对应的物体的掩模图像M3，可以确定出ID号为ID3的目标对象的掩模图像M31，即确定出每个目标对象的掩模图像的位置。

然后，将处于当前帧图像边界位置的目标对象的掩模图像设置为待校正的目标对象，且将处于当前帧图像非边界位置的目标对象的掩模图像设置为受保护的目标对象。可以通过设置与当前帧图像边界的预设间距阈值，来定义是否位于当前帧图像边界位置。比如，当目标对象的掩模图像与当前帧图像边界的间距小于预设间距阈值时，则认为目标对象位于当前帧图像边界位置。

对于待校正的目标对象，对其进行透视畸变校正处理，通过全局数值优化的方式进行图像网格点位置的优化，具体实施可参见步骤104的实施例，在此不再赘述。对于受保护的目标对象，采用的投影方式为透视投影方式，由于位于当前帧图像的非边界位置，本身不存在畸变，因此对其进行形状保护处理，不做校正。

可以理解的是，本申请实施例中，电子设备通过对目标对象的识别以及图像分割，根据遗漏对象在前一帧图像中的目标对象矩形框的位置以及遗漏对象对应的物体的掩模图像，在当前帧图像中确定出遗漏对象的位置，进而对当前帧图像中的遗漏对象的图像进行校正。可以根据当前帧图像中目标对象矩形框的位置以及目标对象对应的物体的掩模图像，在当前帧图像中设置受保护的目标对象和待校正的目标对象，对于受保护的目标对象不做校正，对于待校正的目标对象需要进行校正。本申请实施例在进行校正时，采用全局数值优化的方式进行图像网格点位置的优化，从而实现图像校正。

请参阅图12，图12为本申请实施例提供的图像处理装置的结构示意图。图像处理装置400可以包括：识别模块401，第一确定模块402，第二确定模块403，校正模块404。

识别模块401，用于在当前帧图像中识别目标对象；

第一确定模块402，用于若根据所述当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则从所述前一帧图像中确定出所述遗漏对象的位置，所述遗漏对象在所述当前帧图像中未被识别为目标对象但在所述前一帧图像中被识别为目标对象；

第二确定模块403，用于根据所述遗漏对象在所述前一帧图像中的位置，在所述当前帧图像中确定出所述遗漏对象的位置；

校正模块404，用于根据所述遗漏对象在所述当前帧图像中的位置，对所述当前帧图像中的遗漏对象的图像进行校正。

在一种实施方式中，所述第一确定模块402可以用于：

若根据所述当前帧图像中识别出的目标对象和从所述前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则检测电子设备是否处于预设运动状态；

若检测到所述电子设备未处于所述预设运动状态，则从所述前一帧图像中确定出所述遗漏对象的位置。

在一种实施方式中，所述第二确定模块403可以用于：

若所述遗漏对象在所述前一帧图像中不是受保护的对象，则根据所述遗漏对象在所述前一帧图像中的位置，在所述当前帧图像中确定出所述遗漏对象的位置，所述受保护的对象为不需要校正的对象。

在一种实施方式中，所述校正模块404可以用于：

若判断出所述遗漏对象被其它目标对象遮挡的程度小于或等于预设遮挡阈值，则将所述遗漏对象设置为待校正对象；

在将所述遗漏对象设置为待校正对象之后，根据所述遗漏对象在所述当前帧图像中的位置，对所述当前帧图像中的遗漏对象的图像进行校正。

在一种实施方式中，所述校正模块404可以用于：

为所述待校正对象设置校正有效时间；

若判断出在历史帧图像中存在未被校正且在所述校正有效时间内的对象，则对所述当前帧图像中的遗漏对象的图像进行校正，且对所述历史帧图像中存在的未被校正且在所述校正有效时间内的对象进行校正。

在一种实施方式中，所述第二确定模块403可以用于：

对所述当前帧图像进行图像分割，得到所述当前帧图像中的各个物体的掩模图像；

根据所述遗漏对象在所述前一帧图像中的位置，在所述当前帧图像中确定出所述遗漏对象的位置，包括：根据所述遗漏对象在所述前一帧图像中的位置以及所述遗漏对象对应的物体的掩模图像，在所述当前帧图像中确定出所述遗漏对象的位置。

在一种实施方式中，所述识别模块401可以用于：

根据所述目标对象在所述当前帧图像中的位置，以及所述目标对象对应的物体的掩模图像，在所述当前帧图像中设置受保护的目标对象和待校正的目标对象。

在一种实施方式中，所述第二确定模块403可以用于：

根据所述遗漏对象在所述前一帧图像中的目标对象矩形框的位置，将所述所述遗漏对象在所述前一帧图像中的目标对象矩形框按照预设比例进行扩展，得到所述遗漏对象的扩展矩形框，其中，在每一帧图像中识别目标对象时，为识别出的目标对象生成目标对象矩形框；

根据所述遗漏对象的扩展矩形框的位置以及所述遗漏对象对应的物体的掩模图像，在所述当前帧图像中确定出所述遗漏对象的掩模图像的位置；

根据所述遗漏对象的掩模图像的位置确定出所述遗漏对象在所述当前帧图像中的目标对象矩形框的位置。

在一种实施方式中，所述识别模块401可以用于：

确定出所述目标对象在所述当前帧图像中的目标对象矩形框的位置，其中，在每一帧图像中识别目标对象时，为识别出的目标对象生成目标对象矩形框；

将所述目标对象矩形框按照预设比例进行扩展，得到所述目标对象的扩展矩形框；

根据所述目标对象的扩展矩形框的位置以及所述目标对象对应的物体的掩模图像，确定出所述目标对象的掩模图像；

将处于所述当前帧图像边界位置的目标对象的掩模图像设置为所述待校正的目标对象，且将处于所述当前帧图像非边界位置的目标对象的掩模图像设置为所述受保护的目标对象。

在一种实施方式中，所述电子设备中设有陀螺仪，所述第一确定模块402可以用于：

若根据所述当前帧图像中识别出的目标对象和从所述前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则获取所述陀螺仪在三个方向轴上感应的加速度；

根据所述三个方向轴上的加速度检测所述电子设备是否处于预设运动状态；

所述若检测到所述电子设备未处于所述预设运动状态，则从所述前一帧图像中确定出所述遗漏对象的位置，包括：

若所述三个方向轴上的加速度中的至少一个小于或等于所在方向轴的预设加速度阈值，则确定所述电子设备未处于所述预设运动状态；

从所述前一帧图像中确定出所述遗漏对象的位置。

在一种实施方式中，所述目标对象和遗漏对象包括人脸，所述校正模块404可以用于：

当遗漏人脸的状态至少处于以下其中之一时：非正向脸状态、在图像边界运动中的半脸状态、被手部或除其它人脸之外的遮挡物遮挡的状态，确定遗漏人脸被其它人脸遮挡的程度小于或等于所述预设遮挡阈值。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的图像处理方法中的流程。

本申请实施例还提供一种电子设备，包括存储器，处理器以及摄像模组，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的图像处理方法中的流程。

例如，上述电子设备可以是诸如平板电脑、智能手机或相机等移动终端。请参阅图13，图13为本申请实施例提供的电子设备的结构示意图。

该电子设备500可以包括摄像模组501、存储器502、处理器503等部件。本领域技术人员可以理解，图13中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

摄像模组501可以用于实现图像的拍摄等。摄像模组501可以包括诸如镜头、图像传感器、图像处理器等部件。

存储器502可用于存储应用程序和数据。存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器503通过运行存储在存储器502的应用程序，从而执行各种功能应用以及数据处理。

处理器503是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器502内的应用程序，以及调用存储在存储器502内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，电子设备中的处理器503会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中，并由处理器503来运行存储在存储器502中的应用程序，从而执行：

在当前帧图像中识别目标对象；

请参阅图14，电子设备500可以包括摄像模组501、存储器502、处理器503、输入单元504、输出单元505、扬声器506等部件。

输入单元504可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

输出单元505可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。输出单元可包括显示面板。

扬声器506可以用于播放声音信号。

此外，电子设备还可以包括诸如电池、麦克风等部件。电池用于为电子设备的各个模块供应电力，麦克风可以用于拾取周围环境中的声音信号。

在当前帧图像中识别目标对象；

在一种实施方式中，处理器503执行所述若根据所述当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则从所述前一帧图像中确定出所述遗漏对象的位置时，可以执行：若根据所述当前帧图像中识别出的目标对象和从所述前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则检测电子设备是否处于预设运动状态；若检测到所述电子设备未处于所述预设运动状态，则从所述前一帧图像中确定出所述遗漏对象的位置。

在一种实施方式中，处理器503还可以执行：若所述遗漏对象在所述前一帧图像中不是受保护的对象，则根据所述遗漏对象在所述前一帧图像中的位置，在所述当前帧图像中确定出所述遗漏对象的位置，所述受保护的对象为不需要校正的对象。

在一种实施方式中，处理器503还可以执行：若判断出所述遗漏对象被其它目标对象遮挡的程度小于或等于预设遮挡阈值，则将所述遗漏对象设置为待校正对象；在将所述遗漏对象设置为待校正对象之后，根据所述遗漏对象在所述当前帧图像中的位置，对所述当前帧图像中的遗漏对象的图像进行校正。

在一种实施方式中，处理器503还可以执行：为所述待校正对象设置校正有效时间；若判断出在历史帧图像中存在未被校正且在所述校正有效时间内的对象，则对所述当前帧图像中的遗漏对象的图像进行校正，且对所述历史帧图像中存在的未被校正且在所述校正有效时间内的对象进行校正。

在一种实施方式中，处理器503还可以执行：对所述当前帧图像进行图像分割，得到所述当前帧图像中的各个物体的掩模图像；根据所述遗漏对象在所述前一帧图像中的位置，在所述当前帧图像中确定出所述遗漏对象的位置，包括：根据所述遗漏对象在所述前一帧图像中的位置以及所述遗漏对象对应的物体的掩模图像，在所述当前帧图像中确定出所述遗漏对象的位置。

在一种实施方式中，在执行所述对所述当前帧图像进行图像分割，得到所述当前帧图像中的各个物体的掩模图像之后，处理器503还可以执行：根据所述目标对象在所述当前帧图像中的位置，以及所述目标对象对应的物体的掩模图像，在所述当前帧图像中设置受保护的目标对象和待校正的目标对象。

在一种实施方式中，处理器503执行所述根据所述遗漏对象在所述前一帧图像中的位置以及所述遗漏对象对应的物体的掩模图像，在所述当前帧图像中确定出所述遗漏对象的位置时，可以执行：根据所述遗漏对象在所述前一帧图像中的目标对象矩形框的位置，将所述所述遗漏对象在所述前一帧图像中的目标对象矩形框按照预设比例进行扩展，得到所述遗漏对象的扩展矩形框，其中，在每一帧图像中识别目标对象时，为识别出的目标对象生成目标对象矩形框；根据所述遗漏对象的扩展矩形框的位置以及所述遗漏对象对应的物体的掩模图像，在所述当前帧图像中确定出所述遗漏对象的掩模图像的位置；根据所述遗漏对象的掩模图像的位置确定出所述遗漏对象在所述当前帧图像中的目标对象矩形框的位置。

在一种实施方式中，处理器503执行所述根据所述目标对象在所述当前帧图像中的位置，以及所述目标对象对应的物体的掩模图像，在所述当前帧图像中设置受保护的目标对象和待校正的目标对象，可以执行：确定出所述目标对象在所述当前帧图像中的目标对象矩形框的位置，其中，在每一帧图像中识别目标对象时，为识别出的目标对象生成目标对象矩形框；将所述目标对象矩形框按照预设比例进行扩展，得到所述目标对象的扩展矩形框；根据所述目标对象的扩展矩形框的位置以及所述目标对象对应的物体的掩模图像，确定出所述目标对象的掩模图像；将处于所述当前帧图像边界位置的目标对象的掩模图像设置为所述待校正的目标对象，且将处于所述当前帧图像非边界位置的目标对象的掩模图像设置为所述受保护的目标对象。

在一种实施方式中，所述电子设备中设有陀螺仪，处理器503执行所述若根据所述当前帧图像中识别出的目标对象和从所述前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则检测电子设备是否处于预设运动状态时，可以执行：若根据所述当前帧图像中识别出的目标对象和从所述前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则获取所述陀螺仪在三个方向轴上感应的加速度；根据所述三个方向轴上的加速度检测所述电子设备是否处于预设运动状态。

处理器503执行所述若检测到所述电子设备未处于所述预设运动状态，则从所述前一帧图像中确定出所述遗漏对象的位置时，可以执行：若所述三个方向轴上的加速度中的至少一个小于或等于所在方向轴的预设加速度阈值，则确定所述电子设备未处于所述预设运动状态；从所述前一帧图像中确定出所述遗漏对象的位置。

在一种实施方式中，所述目标对象和遗漏对象包括人脸，处理器503可以执行：当遗漏人脸的状态至少处于以下其中之一时：非正向脸状态、在图像边界运动中的半脸状态、被手部或除其它人脸之外的遮挡物遮挡的状态，确定遗漏人脸被其它人脸遮挡的程度小于或等于所述预设遮挡阈值。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像处理方法的详细描述，此处不再赘述。

本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思，在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法，其具体实现过程详见所述图像处理方法实施例，此处不再赘述。

需要说明的是，对本申请实施例所述图像处理方法而言，本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本申请实施例的所述图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种图像处理方法，其特征在于，包括：

在当前帧图像中识别目标对象；

2.根据权利要求1所述的图像处理方法，其特征在于，所述若根据所述当前帧图像中识别出的目标对象和从前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则从所述前一帧图像中确定出所述遗漏对象的位置，包括：

3.根据权利要求2所述的图像处理方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的图像处理方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的图像处理方法，其特征在于，所述方法还包括：

为所述待校正对象设置校正有效时间；

6.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的图像处理方法，其特征在于，在所述对所述当前帧图像进行图像分割，得到所述当前帧图像中的各个物体的掩模图像之后，所述方法还包括：

8.根据权利要求6所述的图像处理方法，其特征在于，所述根据所述遗漏对象在所述前一帧图像中的位置以及所述遗漏对象对应的物体的掩模图像，在所述当前帧图像中确定出所述遗漏对象的位置，包括：

9.根据权利要求7所述的图像处理方法，其特征在于，所述根据所述目标对象在所述当前帧图像中的位置，以及所述目标对象对应的物体的掩模图像，在所述当前帧图像中设置受保护的目标对象和待校正的目标对象，包括：

10.根据权利要求2所述的图像处理方法，其特征在于，所述电子设备中设有陀螺仪，所述若根据所述当前帧图像中识别出的目标对象和从所述前一帧图像中识别出的目标对象，确定出所述当前帧图像中存在遗漏对象，则检测电子设备是否处于预设运动状态，包括：

从所述前一帧图像中确定出所述遗漏对象的位置。

11.根据权利要求4所述的图像处理方法，其特征在于，所述目标对象或遗漏对象包括人脸，当遗漏人脸的状态至少处于以下其中之一时：非正向脸状态、在图像边界运动中的半脸状态、被手部或除其它人脸之外的遮挡物遮挡的状态，确定遗漏人脸被其它人脸遮挡的程度小于或等于所述预设遮挡阈值。

12.一种图像处理装置，其特征在于，包括：

识别模块，用于在当前帧图像中识别目标对象；

13.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求1至11中任一项所述的方法。

14.一种电子设备，包括存储器，处理器以及摄像模组，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至11中任一项所述的方法。