CN115209035A - 基于视频的畸变校正方法、装置、拍照设备以及存储介质 - Google Patents

Abstract

本申请公开了一种基于视频的畸变校正方法、装置、拍照设备以及存储介质。通过获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；根据第一视频帧中人脸区域的位置和非人脸区域的位置，在第一视频帧中构建校正网格，然后基于畸变校正函数对校正网格进行第一位置变换处理得到候选网格，最后基于第一视频帧的前一视频帧的差值网格对候选网格进行第二位置变换处理得到第一视频帧的插值网格，第一视频帧的插值网格用于对第一视频帧的像素点进行插值处理，以实现对第一视频帧的校正。该方法可以对预览视频进行校正。

Description

基于视频的畸变校正方法、装置、拍照设备以及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种基于视频的畸变校正方法、装置、拍照设备以及存储介质。

背景技术

手机的拍照功能越来越强大，给人们的生活带来了极大便利。在实际应用中，在拍照时，用户先将摄像头对准待拍摄对象，以便于从显示屏上观察到包含有待拍摄对象的连续变动的视频图像。该过程为预览过程。然后，用户点击拍摄按钮，手机可以获取拍摄到的目标图像。当采用广角镜头时，手机拍摄到的目标图像中的图像内容会发生畸变，现有技术会对目标图像进行畸变校正，使得用户最终得到校正后的目标图像，以提高目标图像的图像质量。

然而，上述现有技术仅对拍摄得到的目标图像进行校正，而不对预览时的视频图像进行校正，这样就会导致用户预览时观察到的图像与用户最终得到校正后的目标图像不一致。

发明内容

基于此，本申请实施例提供了一种基于视频的畸变校正方法、装置、拍照设备以及存储介质，可以在用户预览时对预览视频进行校正，以保证用户预览的图像与拍摄获取的图像趋于一致。

第一方面，提供了一种基于视频的畸变校正方法，该方法包括：

获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；

根据第一视频帧中人脸区域的位置和非人脸区域的位置，在第一视频帧中构建校正网格，并基于畸变校正函数对校正网格中的各网格点进行第一位置变换处理，得到候选网格；

基于第二视频帧对应的插值网格对候选网格中各网格点进行第二位置变换处理，得到第一视频帧对应的插值网格，其中，第二视频帧为预览视频中第一视频帧的前一视频帧；

根据第一视频帧对应的插值网格，对第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧。

第二方面，提供了一种基于视频的畸变校正装置，该装置包括：

获取模块，用于获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；

第一位置变换处理模块，用于根据第一视频帧中人脸区域的位置和非人脸区域的位置，在第一视频帧中构建校正网格，并基于畸变校正函数对校正网格中的各网格点进行第一位置变换处理，得到候选网格；

第二位置变换处理模块，用于基于第二视频帧对应的插值网格对候选网格中各网格点进行第二位置变换处理，得到第一视频帧对应的插值网格，其中，第二视频帧为预览视频中第一视频帧的前一视频帧；

插值模块，用于根据第一视频帧对应的插值网格，对第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧。

第三方面，提供了一种拍照设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面中任一项所述的方法。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面中任一所述的方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；根据第一视频帧中人脸区域的位置和非人脸区域的位置，在第一视频帧中构建校正网格，然后基于畸变校正函数对校正网格进行第一位置变换处理得到候选网格，最后基于第一视频帧的前一视频帧的差值网格对候选网格进行第二位置变换处理得到第一视频帧的插值网格，第一视频帧的插值网格用于对第一视频帧的像素点进行插值处理，以实现对第一视频帧的校正。该方法中，通过第一位置变换处理和第二位置变换处理，可以实现对第一视频帧的人脸区域的畸变进行校正的目的，避免因人脸变形影响视觉效果。且通过第二位置变换处理，还可以避免相邻两个视频帧发生跳变，提高预览视频的流畅性。

附图说明

图1为本申请实施例提供的一种基于视频的畸变校正方法的流程图；

图2为本申请实施例提供的一种人像轮廓的示意图；

图3为本申请实施例提供的一种透视投影网格的示意图；

图4为本申请实施例提供的一种立体投影网格的示意图；

图5为本申请实施例提供的一种校正网格的示意图；

图6为本申请实施例提供的一种确定第一视频帧中人脸区域和非人脸区域的位置的方法的示意图；

图7为本申请实施例提供的一种多人重叠视频帧与语义分割结果对比示意图；

图8为本申请实施例提供的一种对候选人脸区域进行扩大的方法的示意图；

图9为本申请实施例提供的一种根据人脸姿态信息确定候选人脸区域的扩大方向的示意图；

图10为本申请实施例提供的另一种基于视频的畸变校正方法的流程图；

图11为本申请实施例提供的一种基于视频的畸变校正装置的示意图；

图12为本申请实施例涉及到的一种拍照设备的框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

目前，手机中集成了越来越多的功能，例如拍照、上网等功能。在使用手机进行拍照时，手机的取景范围受到手机内的摄像头的视场的限制。为了扩大手机的取景范围，一般采用广角镜头来进行拍照。

在实际应用中，用户的拍照过程可以分为两部分，一部分是拍照前的预览过程，另一部分是拍照部分，其中，拍照前的预览部分是指，用户启动手机摄像头之后，摄像头自动获取前景图像，并将前景图像展示在手机的显示屏中。用户通过显示屏中显示的图像确定拍照时机，然后点击拍照按钮，从而进行拍照。其中，自然事物瞬息万变，因此确定恰当的拍照时机对于用户获取到的图像的好坏至关重要。而用户确定拍照时机的主要影响因素是手机的显示屏中显示的图像的质量。

由于广角镜头自身的特性造成广角镜头拍摄的图像会发生畸变，也就是说，用户在预览过程中从显示屏中看到的图像是畸变的图像，畸变的图像会对用户造成干扰，导致用户对拍照时机判断失误。这样可能使得用户多次拍照都不能获取到满意的图像。

于此同时，现有技术中，当用户点击拍照按钮之后，手机内自带的校正软件可以对已经获取的图像进行校正。也就是说，用户拍照后得到的图像是校正后的图像，而用户在拍照过程中预览的图像是未经过校正的，这样就会导致用户预览时观察到的图像与用户最终得到校正后的目标图像不一致。

考虑到在预览过程中，手机的显示屏中显示的其实是连续变化的预览视频，而对预览视频进行校正时，其实时性的要求较高。为了兼顾校正质量和实时性的要求，本申请实施例提供了一种基于视频的畸变校正方法，该方法获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧，然后对第一视频帧进行校正。从而实现对预览视频进行校正的目的，保证了用户预览的图像与拍摄获取的图像趋于一致，于此同时，由于人眼对人脸图像的畸变较为敏感，人脸变形会严重影响视觉效果，因此本申请实施例中，对人脸区域进行重点校正从而可以节约时间，其在对人脸区域进行校正的过程中，会适应性地调整非人脸区域。综上可知，该方法既提高了图像质量由保证了实时性要求。

需要指出的是，本申请实施例提供的基于视频的畸变校正方法的执行主体可以是基于视频的畸变校正装置，该基于视频的畸变校正装置可以通过软件、硬件或者软硬件结合的方式实现成为拍照设备的部分或者全部。在本申请实施例中，拍照设备可以搭载有广角相机，其可以为智能手机、平板电脑、数码相机等，本申请实施例不对拍照设备的具体类型进行限定。

在执行主体为拍照设备的情况下，用户使用该拍照设备进行拍照时，从用户启动摄像机到用户点击拍照按钮的期间，可以基于自身搭载的广角相机拍摄预览视频，并可以基于本申请实施例提供的基于视频的畸变校正方法对拍摄得到的预览视频进行畸变校正处理。

为了方便说明，在下述实施例中，均以拍照设备为执行主体进行说明。

请参考图1，其示出了本申请实施例提供的一种基于视频的畸变校正方法的流程图，如图1所示，该基于视频的畸变校正方法可以包括以下步骤：

步骤101，拍照设备获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧。

本公开实施例中，从用户启动摄像机到用户点击拍照按钮的期间，拍照设备可以基于自身搭载的广角相机拍摄预览视频。

在实际应用中，广角相机拍摄的预览视频可能会出现不包含人像，或者仅有部分视频帧包含人像的情况。由于本申请实施例提供的方法是对预览视频中的人脸进行畸变校正，因此本公开实施例中，拍照设备在获取到预览视频后，可以逐帧检测视频帧中是否包含有人像，在包含有人像的基础上，将包含有人像的未经校正的视频帧确定为第一视频帧。而对于不包含有人像的视频帧不作处理，这样可以减少不必要的数据处理量，提高拍照设备的实时性。

步骤102，拍照设备根据第一视频帧中人脸区域的位置和非人脸区域的位置，在第一视频帧中构建校正网格，并基于畸变校正函数对校正网格中的各网格点进行第一位置变换处理，得到候选网格。

人脸区域是指人像的脸部在第一视频帧中的区域，非人脸区域是指第一视频帧中人脸区域之外的所有区域的统称。本申请实施例中，可以通过目标检测算法确定出第一视频帧中人脸区域的像素点和非人脸区域的像素点。

需要说明的是，在一个第一视频帧中，可能出现多个人像，这样就会出现多个人脸区域，如图2所示，图2中示出了三个人像轮廓，对应三个人脸区域，该三个人脸区域之外的区域即为非人脸区域。

其中，第一视频帧是由多个像素点组成的，为了对人脸区域的像素点进行定位，本申请实施例中，在第一视频帧中建立以四个顶角中的任意一个顶角的像素点为原点的二维坐标系，并在该二维坐标系内确定第一视频帧中每个像素点的坐标位置。然后，人脸区域的位置可以是指人脸对应的多个像素点的坐标位置的集合。

在确定人脸区域的位置和非人脸区域的位置之后，拍照设备可以在第一视频帧中构建校正网格。其中，校正网格为理想状态下的拍摄投影网格。可选的，校正网格包括透视投影网格和立体投影网格，其中，透视投影网格可以如图3所示，立体投影网格如图4所示。

本申请实施例中，拍照设备可以在第一视频帧中的人脸区域的位置处构建立体投影网格，在第一视频帧中的非人脸区域的位置处构建透视投影网格。校正网格例如图5所示。可选的，本申请实施例中，拍照设备可以在第一视频帧中建立透视投影网格，然后将透视投影网格中人脸区域对应的透视投影网格替换为立体投影网格。

需要说明的是，本申请实施例中，第一视频帧上建立透视投影网格时，还可以获取透视投影网格上的每个网格点的坐标，基于网格点的坐标与上述二维坐标系中各像素点的坐标的对应关系确定出获取透视投影网格的网格点与像素点的映射关系，以便于在后续对第一视频帧插值处理时使用。

需要说明的是，不同的第一视频帧中包括的人脸区域的位置不同，那么其对应的校正网格则不相同。

本申请实施例中，拍照设备中预先设置有畸变校正函数，其中畸变校正函数为预先设置好的数学模型，用于对第一视频帧中的人脸区域进行变形校正。其中，基于畸变校正函数对校正网格中的各网格点进行第一位置变换处理，得到候选网格的过程可以包括以下内容：将校正网格中各网格点的坐标输入至畸变校正函数中，得到畸变校正函数输出的新的网格点的坐标集合，该新的网格点的坐标集合即候选网格对应的网格点的坐标的集合。

步骤103，拍照设备基于第二视频帧对应的插值网格对候选网格中各网格点进行第二位置变换处理，得到第一视频帧对应的插值网格。

在对预览视频进行校正的过程中，为了避免校正程度较大引起的视频帧中的图像内容发生跳变，提高预览视频的连续性，本申请实施例中，拍照设备在对各个第一视频帧校正时，并不会直接将候选网格作用于第一视频帧进行插值处理，而是获取第二视频帧对应的插值网格，并基于第二视频帧对应的插值网格对候选网格进行第二位置变换处理。

其中，第二视频帧为预览视频中第一视频帧的前一视频帧。需要说明的是，第一视频帧的前一视频帧并不是指预览视频中按时序排列的前一视频帧，而是指第一视频帧的前一个包含有人像的视频帧。第二视频帧为已经经过校正的视频帧。

本申请实施例中，通过已经经过校正的视频帧的插值网格对未经过校正的第一视频帧的候选网格进行处理，避免从第二视频帧过渡到第一视频帧时发生较为严重的跳变，使得从第二视频帧过渡到第一视频帧时画面连贯性更好。

可选的，对候选网格的各网格点进行第二位置变换处理的方法包括：对第二视频帧对应的插值网格中的各网格点的坐标与候选网格中的各网格点的坐标求平均运算，将求平均结果作为第一视频帧对应的插值网格中的各网格点的坐标。

其中，例如某网格点于像素点A对应，经过第一位置变换处理后，该网格点的坐标位置会发生变化，但该网格点与像素点A的映射关系并不会发生变化。基于此，可以获取经过第一位置变换处理后的候选网格中的各网格点对应的像素点。在求平均运算是指基于像素点A对应的候选网格的网格点的坐标与第二视频帧中的插值网格中处于同一位置的像素点对应的网格点的坐标的求平均。

可选的，对候选网格的各网格点进行第二位置变换处理的方法包括：对第二视频帧对应的插值网格中的各网格点的位置与候选网格中的各网格点的位置进行加权处理，得到第一视频帧对应的插值网格。

如下式所示，

其中，α为权重系数，v_k为候选网格的网格点坐标，v_intep,k-1为第二视频帧的插值网格的网格点坐标，v_intep,k为第一视频帧的插值网格的网格点坐标。

拍照设备中可以预先存储对应第一视频帧和第二视频帧的权重系数，通过权重系数和网格点的坐标进行加权运算，得到新的网格点的坐标，由新的网格点的坐标组成第一视频帧对应的插值网格的网格点的坐标。

步骤104，拍照设备根据第一视频帧对应的插值网格，对第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧。

本申请实施例中，拍照设备可以将第一视频帧中的各个像素点的像素值插值指第一视频帧对应的差值网格的网格点之间，从而实现基于该插值网格对第一视频帧中各像素点进行插值处理的目的。

本申请实施例提供的基于视频的畸变校正方法通过获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧，然后对第一视频帧进行校正。从而实现对预览视频进行校正的目的，保证了用户预览的图像与拍摄获取的图像趋于一致。于此同时，通过第一位置变换处理和第二位置变换处理，可以实现对第一视频帧的人脸区域的畸变进行校正的目的，避免因人脸变形影响视觉效果。且通过第二位置变换处理，还可以避免相邻两个视频帧发生跳变，提高预览视频的流畅性。

在一种可选的实现方式中，畸变校正函数是根据人脸约束条件、直线角度保持约束条件和网格间隔约束条件构建的，该畸变校正函数为使候选网格与校正网格的差异最小化为目标的函数。其中，人脸约束条件用于约束候选网格和校正网格在人脸区域的位置偏移量；直线角度保持约束条件用于约束候选网格和校正网格在非人脸区域的位置偏移量；网格间隔约束条件用于约束候选网格和校正网格的网格尺寸偏移量。

下面示例性地示出一种畸变校正函数的表达式：

v＝argmin(λ_fE_f+λ_bE_b+λ_rE_r)

其中，E_f表示人脸约束条件，λ_f表示人脸权重，E_b表示直线角度保持约束条件，λ_b表示非人脸权重，E_r表示网格间隔约束条件，λ_r表示网格间隔约束条件系数。

其中，

其中，E_s,k表示候选网格和校正网格中每个网格点在人脸区域的位置偏移量。其中，k表示第一视频帧中的第k个人脸，s表示网格点，对各个人脸区域的网格点的偏移量求和确定人脸约束条件。本申请实施例中对E_s,k的运算方式不做限定。

其中，

其中，i表示网格点的索引，N(i)表示其周边网格点，e_ij为(v_i-v_j)方向的单位向量v_i，v_j为相应位置的透视投影网格的网格点的坐标。

在一种可选的实现方式中，畸变校正函数还可以包括前后帧误差约束条件和背景二次保形约束条件。

其中，畸变校正函数的表达式可以表示为：

v＝argmin(λ_fE_f+λ_bE_b+λ_rE_r+λ_b2ndE_b2nd+λ_deltaE_delta)。

其中，E_b2nd表示背景二次保形约束条件，λ_b2nd表示背景二次保形系数。E_delta表示前后帧误差约束条件，λ_delta表示前后帧误差系数。

其中，

其中，i表示网格点的索引，N(i)表示其周边网格点，E(j)表示沿e_ij方向的j的相邻点，e_ij为(v_i-v_j)方向的单位向量，v_i，v_j为相应位置的透视投影网格的网格点的坐标。e_jk为(v_j-v_k)方向的单位向量，v_j，v_k为相应位置的透视投影网格的网格点的坐标。

在实际应用中，确定第一视频帧中人脸区域和非人脸区域的位置时，需要首先对第一视频帧中的人像进行人像分割。现有的成熟的人像分割方法有人像实例分割方法，该方法可以分割出人体所有部位，且可以区分不同的人像。然而该方法的数据处理量较大，导致需要耗费较长时间，因此对于本申请实施例中的对实时性要求较高的应用场景并不适用。

请参考图6，本申请实施例提供了一种确定第一视频帧中人脸区域和非人脸区域的位置的方法，该方法包括以下步骤：

步骤601，拍照设备对第一视频帧进行人体语义分割，得到人体轮廓信息，对第一视频帧进行人脸检测，得到候选人脸区域。

其中，人体语义分割具有运算量小，实时性强的特点，其用于获取人体轮廓信息。分割后的人体轮廓可以如图2中白色区域所示。人体轮廓信息用于确定人像的头部所在的位置。

人脸检测用于获取人脸框所在的位置以及人脸的长宽和人脸姿态信息。如图2所示，图2中的虚线框用于表示候选人脸区域。候选人脸区域用于确定人像的脸部所在的位置。

步骤602，拍照设备根据候选人脸区域和人体轮廓信息对候选人脸区域的尺寸进行扩大处理，得到第一视频帧中的人脸区域的位置。

在实际应用中，进行人脸检测以及姿态估计的主要目的是为了确定人脸区域在第一视频帧中的位置，通常候选人脸区域上下能够覆盖人脸的额头和下巴，左右范围会覆盖人脸的耳朵以内。因此，候选人脸区域无法反映人脸和头部所在的整体位置。因此，需要对候选人脸区域进行扩大处理。

本申请实施例中，对候选人脸区域的尺寸进行扩大处理的方式可以例如是，以候选人脸区域为中心，沿上下左右四个方向向外扩展候选人脸区域对应的候选人脸框，直至候选人脸框将人体轮廓信息中的整个头部覆盖在内。候选人脸框扩展后所在的位置即第一视频帧中的人脸区域的位置。

然而，虽然人体语义分割的实时性较好，但是人体语义分割无法精细却分每一个人的轮廓信息，尤其是在多人重叠的第一视频帧中，可能出现严重重叠导致无法分辨人体轮廓的问题。如图7所示，图7上部分为多人重叠的第一视频帧，图7下部分为人体语义分割的结果。在图7所示的场景下，若仍按照扩展人脸框直至覆盖分割结果中确定的人体整个头部的方式进行扩展，就会造成人脸区域的盲目扩展。导致人脸区域的位置的精度降低，这样会导致后续的校正网格的确定存在较大误差，从而对第一视频帧的校正结果造成较大的不利影响。

基于此，如图8所示，本申请实施例还提供了另一种对候选人脸区域的尺寸进行扩大的方法，该方法包括：

步骤801，拍照设备获取第一视频帧中人脸的姿态信息。

本申请实施例中，在进行人脸检测时，可以获取到人脸的姿态信息，其中，人脸姿态信息包括人脸俯仰角和人脸偏转方向。其中，人脸俯仰角可以用于反映人脸上下点头运作位置，人脸偏转方向可以用于反映人脸左右的旋转以及人脸在平面上向左右的倾斜。

步骤802，拍照设备根据人脸姿态信息确定候选人脸区域的扩大方向。

其中，扩大方向用于表示候选人脸区域在扩大时的偏移方向。根据人脸的姿态信息对候选人脸区域的尺寸进行扩大处理时，主要是基于不同的人脸姿态对候选人脸区域在扩大时的偏移的影响。

例如，用yaw表示人脸偏转方向，其中，yaw>0表示人脸向右转，那么表示，在对候选人脸区域进行扩大时，候选人脸区域需要向左侧偏移，即扩大方向为人脸的左侧。yaw＝0表示人脸姿态正中，此时，候选人脸区域左右等比例扩展就能保持覆盖住整个人像头部。

再例如，用pitch表示人脸俯仰角，其中，pitch>0表示人脸姿态为向下点头的姿态，那么对候选人脸区域进行扩大时，候选人脸区域需要向上多扩展。

步骤803，拍照设备根据候选人脸区域的扩大方向、候选人脸区域和人体轮廓信息对候选人脸区域的尺寸进行扩大处理。

可选的，本申请实施例中，在对候选人脸区域进行扩大时，扩大方向所指向的方向的扩大系数大于其他方向的扩大系数。如图9所示，图9中实线框表示候选人脸区域，虚线框表示扩大处理后的人脸区域的位置，根据图9可以看出，人脸姿态为低头，因此扩大方向为向上，即向上的方向的扩大系数大于其他方向的扩大系数，因此，虚线框与实线框相比，向上方向的扩大量比其他方向的扩大量大。

本申请实施例中，通过人脸的姿态信息来辅助确定人脸区域的扩大处理，避免了对候选人脸区域盲目扩大，提高了人脸区域的位置的定位精度。

步骤603，拍照设备根据第一视频帧中的人脸区域的位置确定第一视频帧中的非人脸区域的位置。

本申请实施例中，在确定好第一视频帧中的人脸区域的位置之后，将人脸区域之外的其余区域的位置确定为非人脸区域的位置。

本申请实施例中，基于语义分割的方法确定人体轮廓信息，提高了运算效率，并且基于人脸的姿态信息对候选人脸区域进行扩展，可以解决人体语义分割方法带来的人像轮廓重叠的问题，既保证了实时性，又保证了确定的人脸区域的位置的准确性，为后续进行精确校正做好了准备。

在本申请的一种可选的实现方式中，畸变校正函数包括人脸权重系数和非人脸权重系数，在对第一视频帧进行校正处理之后，如图10所示，该基于视频的畸变校正方法还包括以下内容：

步骤1001，拍照设备根据第一视频帧对应的插值网格对人脸区域和非人脸区域的校正结果进行评估。

其中，对人脸区域的校正结果进行评估的过程包括：计算第一视频帧对应的插值网格和校正网格在人脸区域的第一位置偏移量，根据第一位置偏移量对人脸区域的校正结果进行评估。

其中，第一位置偏移量是指遍历第一视频帧对应的插值网格的网格点的坐标位置与校正网格的网格点的坐标位置的差值，然后计算所有差值的平方和，从而得到第一位置偏移量。该第一位置偏移量用于表示在人脸区域内第一视频帧对应的插值网格与理想状态下的校正网格的差异性。

然后，通过比较第一位置偏移量与预设的评估参数的大小来确定人脸区域的校正结果，若第一位置偏移量大于预设的评估参数，则认为校正不达标。反之，认为校正达标。

其中，对非人脸区域的校正结果进行评估的过程包括：计算第一视频帧对应的插值网格和校正网格在非人脸区域的第二位置偏移量，根据第二位置偏移量对非人脸区域的校正结果进行评估。其中，详细的运算过程可以参考对人脸区域的校正结果进行评估的过程。

步骤1002，基于评估结果调整畸变校正函数中的人脸权重或非人脸权重，得到调整后的畸变校正函数，其中，调整后的畸变校正函数用于对第三视频帧中构建的校正网格中的各网格点进行第一位置变化处理。

本申请实施例中，若人脸区域的校正结果为校正不达标，而非人脸区域的校正结果为校正达标，则需要调整人脸权重。若人脸区域的校正结果为校正达标，而非人脸区域的校正结果为校正不达标，则需要调整非人脸权重。若人脸区域的校正结果和非人脸区域的校正结果均不达标，则需要调整人脸权重。

权重调整后的畸变校正函数可以用于对第三视频帧进行校正。其中，第三视频帧为预览视频中的第一视频帧的后一视频帧，其中，第一视频帧的后一视频帧并不是指预览视频中按时序排列的后一视频帧，而是指第一视频帧的后一个包含有人像的视频帧。第三视频帧为包含有人像的视频帧，

本申请实施例中，通过自适应反馈的方式，可以提高畸变校正函数的处理精度，使得在对预览视频处理时呈现出逐渐优化的效果。

应该理解的是，虽然图1-图10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

请参考图11，其示出了本申请实施例提供的一种基于视频的畸变校正装置1100的框图，该基于视频的畸变校正装置1100包括获取模块1101，第一位置变换处理模块1102，第二位置变换处理模块1103和插值模块1104，其中：

获取模块1101，用于获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；

第一位置变换处理模块1102，用于根据所述第一视频帧中人脸区域的位置和非人脸区域的位置，在所述第一视频帧中构建校正网格，并基于畸变校正函数对所述校正网格中的各网格点进行第一位置变换处理，得到候选网格；

第二位置变换处理模块1103，用于基于第二视频帧对应的插值网格对所述候选网格中各网格点进行第二位置变换处理，得到所述第一视频帧对应的插值网格，其中，所述第二视频帧为所述预览视频中所述第一视频帧的前一视频帧；

插值模块1104，用于根据所述第一视频帧对应的插值网格，对所述第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧。

在其中一个实施例中，校正网格包括透视投影网格和立体投影网格，第一位置变换处理模块1102具体用于：

在第一视频帧中的人脸区域的位置处构建立体投影网格；

在第一视频帧中的非人脸区域的位置处构建透视投影网格。

在其中一个实施例中，第一位置变换处理模块1102具体用于：

对第一视频帧进行人体语义分割，得到人体轮廓信息；

对第一视频帧进行人脸检测，得到候选人脸区域；

根据候选人脸区域和人体轮廓信息对候选人脸区域的尺寸进行扩大处理，得到第一视频帧中的人脸区域的位置；

根据第一视频帧中的人脸区域的位置确定第一视频帧中的非人脸区域的位置。

在其中一个实施例中，第一位置变换处理模块1102具体用于：

获取第一视频帧中人脸的姿态信息，人脸姿态信息包括人脸俯仰角和人脸偏转方向；

根据人脸姿态信息确定候选人脸区域的扩大方向；

根据候选人脸区域的扩大方向、候选人脸区域和人体轮廓信息对候选人脸区域的尺寸进行扩大处理。

在其中一个实施例中，第二位置变换处理模块1103具体用于：

根据人脸约束条件、直线角度保持约束条件和网格间隔约束条件构建畸变校正函数，其中，人脸约束条件用于约束候选网格和校正网格在人脸区域的位置偏移量；直线角度保持约束条件用于约束候选网格和校正网格在非人脸区域的位置偏移量；网格间隔约束条件用于约束候选网格和校正网格的网格尺寸偏移量。

在其中一个实施例中，畸变校正函数包括人脸权重系数和非人脸权重系数，插值模块1104具体用于：根据第一视频帧对应的插值网格对人脸区域和非人脸区域的校正结果进行评估；

第一位置变换处理模块1102具体用于：基于评估结果调整畸变校正函数中的人脸权重或非人脸权重，得到调整后的畸变校正函数，其中，调整后的畸变校正函数用于对第三视频帧中构建的校正网格中的各网格点进行第一位置变换处理，其中，第三视频帧为预览视频中第一视频帧的后一视频帧。

在其中一个实施例中，插值模块1104具体用于：

计算第一视频帧对应的插值网格和校正网格在人脸区域的第一位置偏移量，根据第一位置偏移量对人脸区域的校正结果进行评估；

计算第一视频帧对应的插值网格和校正网格在非人脸区域的第二位置偏移量，根据第二位置偏移量对非人脸区域的校正结果进行评估。

在其中一个实施例中，插值模块1104具体用于：

对第二视频帧对应的插值网格中的各网格点的位置与候选网格中的各网格点的位置进行加权处理，得到第一视频帧对应的插值网格。

关于基于视频的畸变校正装置的具体限定可以参见上文中对于基于视频的畸变校正方法的限定，在此不再赘述。上述基于视频的畸变校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于拍照设备中的处理器中，也可以以软件形式存储于拍照设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图12为一个实施例中拍照设备的内部结构示意图。如图12所示，该拍照设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个拍照设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的一种基于视频的畸变校正方法。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的拍照设备的限定，具体的拍照设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本申请的一个实施例中，提供了一种拍照设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现：

获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；根据第一视频帧中人脸区域的位置和非人脸区域的位置，在第一视频帧中构建校正网格，并基于畸变校正函数对校正网格中的各网格点进行第一位置变换处理，得到候选网格；基于第二视频帧对应的插值网格对候选网格中各网格点进行第二位置变换处理，得到第一视频帧对应的插值网格，其中，第二视频帧为预览视频中第一视频帧的前一视频帧；根据第一视频帧对应的插值网格，对第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧。

在其中一个实施例中，校正网格包括透视投影网格和立体投影网格，该计算机程序被该处理器执行时实现：在第一视频帧中的人脸区域的位置处构建立体投影网格；在第一视频帧中的非人脸区域的位置处构建透视投影网格。

在其中一个实施例中，该计算机程序被该处理器执行时实现：对第一视频帧进行人体语义分割，得到人体轮廓信息；对第一视频帧进行人脸检测，得到候选人脸区域；根据候选人脸区域和人体轮廓信息对候选人脸区域的尺寸进行扩大处理，得到第一视频帧中的人脸区域的位置；根据第一视频帧中的人脸区域的位置确定第一视频帧中的非人脸区域的位置。

在其中一个实施例中，该计算机程序被该处理器执行时实现：获取第一视频帧中人脸的姿态信息，人脸姿态信息包括人脸俯仰角和人脸偏转方向；根据人脸姿态信息确定候选人脸区域的扩大方向；根据候选人脸区域的扩大方向、候选人脸区域和人体轮廓信息对候选人脸区域的尺寸进行扩大处理。

在其中一个实施例中，该计算机程序被该处理器执行时实现：根据人脸约束条件、直线角度保持约束条件和网格间隔约束条件构建畸变校正函数，其中，人脸约束条件用于约束候选网格和校正网格在人脸区域的位置偏移量；直线角度保持约束条件用于约束候选网格和校正网格在非人脸区域的位置偏移量；网格间隔约束条件用于约束候选网格和校正网格的网格尺寸偏移量。

在其中一个实施例中，畸变校正函数包括人脸权重系数和非人脸权重系数，该计算机程序被该处理器执行时实现：根据第一视频帧对应的插值网格对人脸区域和非人脸区域的校正结果进行评估；基于评估结果调整畸变校正函数中的人脸权重或非人脸权重，得到调整后的畸变校正函数，其中，调整后的畸变校正函数用于对第三视频帧中构建的校正网格中的各网格点进行第一位置变换处理，其中，第三视频帧为预览视频中第一视频帧的后一视频帧。

在其中一个实施例中，该计算机程序被该处理器执行时实现：计算第一视频帧对应的插值网格和校正网格在人脸区域的第一位置偏移量，根据第一位置偏移量对人脸区域的校正结果进行评估；计算第一视频帧对应的插值网格和校正网格在非人脸区域的第二位置偏移量，根据第二位置偏移量对非人脸区域的校正结果进行评估。

在其中一个实施例中，该计算机程序被该处理器执行时实现：对第二视频帧对应的插值网格中的各网格点的位置与候选网格中的各网格点的位置进行加权处理，得到第一视频帧对应的插值网格。

本申请实施例提供的拍照设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；根据第一视频帧中人脸区域的位置和非人脸区域的位置，在第一视频帧中构建校正网格，并基于畸变校正函数对校正网格中的各网格点进行第一位置变换处理，得到候选网格；基于第二视频帧对应的插值网格对候选网格中各网格点进行第二位置变换处理，得到第一视频帧对应的插值网格，其中，第二视频帧为预览视频中第一视频帧的前一视频帧；根据第一视频帧对应的插值网格，对第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧。

在其中一个实施例中，校正网格包括透视投影网格和立体投影网格，计算机程序被处理器执行时实现以下步骤：在第一视频帧中的人脸区域的位置处构建立体投影网格；在第一视频帧中的非人脸区域的位置处构建透视投影网格。

在其中一个实施例中，计算机程序被处理器执行时实现以下步骤：对第一视频帧进行人体语义分割，得到人体轮廓信息；对第一视频帧进行人脸检测，得到候选人脸区域；根据候选人脸区域和人体轮廓信息对候选人脸区域的尺寸进行扩大处理，得到第一视频帧中的人脸区域的位置；根据第一视频帧中的人脸区域的位置确定第一视频帧中的非人脸区域的位置。

在其中一个实施例中，计算机程序被处理器执行时实现以下步骤：获取第一视频帧中人脸的姿态信息，人脸姿态信息包括人脸俯仰角和人脸偏转方向；根据人脸姿态信息确定候选人脸区域的扩大方向；根据候选人脸区域的扩大方向、候选人脸区域和人体轮廓信息对候选人脸区域的尺寸进行扩大处理。

在其中一个实施例中，计算机程序被处理器执行时实现以下步骤：根据人脸约束条件、直线角度保持约束条件和网格间隔约束条件构建畸变校正函数，其中，人脸约束条件用于约束候选网格和校正网格在人脸区域的位置偏移量；直线角度保持约束条件用于约束候选网格和校正网格在非人脸区域的位置偏移量；网格间隔约束条件用于约束候选网格和校正网格的网格尺寸偏移量。

在其中一个实施例中，畸变校正函数包括人脸权重系数和非人脸权重系数，计算机程序被处理器执行时实现以下步骤：根据第一视频帧对应的插值网格对人脸区域和非人脸区域的校正结果进行评估；基于评估结果调整畸变校正函数中的人脸权重或非人脸权重，得到调整后的畸变校正函数，其中，调整后的畸变校正函数用于对第三视频帧中构建的校正网格中的各网格点进行第一位置变换处理，其中，第三视频帧为预览视频中第一视频帧的后一视频帧。

在其中一个实施例中，计算机程序被处理器执行时实现以下步骤：计算第一视频帧对应的插值网格和校正网格在人脸区域的第一位置偏移量，根据第一位置偏移量对人脸区域的校正结果进行评估；计算第一视频帧对应的插值网格和校正网格在非人脸区域的第二位置偏移量，根据第二位置偏移量对非人脸区域的校正结果进行评估。

在其中一个实施例中，计算机程序被处理器执行时实现以下步骤：对第二视频帧对应的插值网格中的各网格点的位置与候选网格中的各网格点的位置进行加权处理，得到第一视频帧对应的插值网格。

本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种基于视频的畸变校正方法，其特征在于，所述方法包括：

获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；

根据所述第一视频帧中人脸区域的位置和非人脸区域的位置，在所述第一视频帧中构建校正网格，并基于畸变校正函数对所述校正网格中的各网格点进行第一位置变换处理，得到候选网格；

基于第二视频帧对应的插值网格对所述候选网格中各网格点进行第二位置变换处理，得到所述第一视频帧对应的插值网格，其中，所述第二视频帧为所述预览视频中所述第一视频帧的前一视频帧；

根据所述第一视频帧对应的插值网格，对所述第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧。

2.根据权利要求1所述的方法，其特征在于，所述校正网格包括透视投影网格和立体投影网格，所述根据所述第一视频帧中人脸区域的位置和非人脸区域的位置，在所述第一视频帧中构建校正网格，包括：

在所述第一视频帧中的人脸区域的位置处构建所述立体投影网格；

在所述第一视频帧中的非人脸区域的位置处构建所述透视投影网格。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一视频帧中人脸区域的位置和非人脸区域的位置，在所述第一视频帧中构建校正网格之前，所述方法还包括：

对所述第一视频帧进行人体语义分割，得到人体轮廓信息；

对所述第一视频帧进行人脸检测，得到候选人脸区域；

根据所述候选人脸区域和所述人体轮廓信息对所述候选人脸区域的尺寸进行扩大处理，得到所述第一视频帧中的人脸区域的位置；

根据所述第一视频帧中的人脸区域的位置确定所述第一视频帧中的所述非人脸区域的位置。

4.根据权利要求3所述的方法，其特征在于，所述根据所述候选人脸区域和所述人体轮廓信息对所述候选人脸区域的尺寸进行扩大处理，包括：

获取所述第一视频帧中人脸的姿态信息，所述人脸姿态信息包括人脸俯仰角和人脸偏转方向；

根据所述人脸姿态信息确定所述候选人脸区域的扩大方向；

根据所述候选人脸区域的扩大方向、所述候选人脸区域和所述人体轮廓信息对所述候选人脸区域的尺寸进行扩大处理。

5.根据权利要求1所述的方法，其特征在于，所述基于畸变校正函数对所述校正网格中的各网格点进行第一位置变换处理，得到候选网格之前，所述方法还包括：

根据人脸约束条件、直线角度保持约束条件和网格间隔约束条件构建所述畸变校正函数，其中，所述人脸约束条件用于约束所述候选网格和所述校正网格在所述人脸区域的位置偏移量；所述直线角度保持约束条件用于约束所述候选网格和所述校正网格在所述非人脸区域的位置偏移量；所述网格间隔约束条件用于约束所述候选网格和所述校正网格的网格尺寸偏移量。

6.根据权利要求1所述的方法，其特征在于，所述畸变校正函数包括人脸权重系数和非人脸权重系数，所述根据所述第一视频帧对应的插值网格，对所述第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧之后，所述方法还包括：

根据所述第一视频帧对应的插值网格对所述人脸区域和所述非人脸区域的校正结果进行评估；

基于评估结果调整所述畸变校正函数中的所述人脸权重或所述非人脸权重，得到调整后的所述畸变校正函数，其中，所述调整后的所述畸变校正函数用于对第三视频帧中构建的校正网格中的各网格点进行第一位置变换处理，其中，所述第三视频帧为所述预览视频中所述第一视频帧的后一视频帧。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一视频帧对应的插值网格对所述人脸区域和所述非人脸区域的校正结果进行评估，包括：

计算所述第一视频帧对应的插值网格和所述校正网格在所述人脸区域的第一位置偏移量，根据所述第一位置偏移量对所述人脸区域的校正结果进行评估；

计算所述第一视频帧对应的插值网格和所述校正网格在所述非人脸区域的第二位置偏移量，根据所述第二位置偏移量对所述非人脸区域的校正结果进行评估。

8.根据权利要求1所述的方法，其特征在于，所述基于第二视频帧对应的插值网格对所述候选网格中各网格点进行第二位置变换处理，得到所述第一视频帧对应的插值网格，包括：

对所述第二视频帧对应的插值网格中的各网格点的位置与所述候选网格中的各网格点的位置进行加权处理，得到所述第一视频帧对应的插值网格。

9.一种基于视频的畸变校正装置，其特征在于，所述装置包括：

获取模块，用于获取广角摄像头实时取景拍摄到的预览视频中的第一视频帧；

第一位置变换处理模块，用于根据所述第一视频帧中人脸区域的位置和非人脸区域的位置，在所述第一视频帧中构建校正网格，并基于畸变校正函数对所述校正网格中的各网格点进行第一位置变换处理，得到候选网格；

第二位置变换处理模块，用于基于第二视频帧对应的插值网格对所述候选网格中各网格点进行第二位置变换处理，得到所述第一视频帧对应的插值网格，其中，所述第二视频帧为所述预览视频中所述第一视频帧的前一视频帧；

插值模块，用于根据所述第一视频帧对应的插值网格，对所述第一视频帧中各像素点的像素值进行插值处理，得到经过人脸畸变校正处理的第一视频帧。

10.一种拍照设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一所述的方法。

Images