CN110505398B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质。所述方法包括：采集拍摄对象对应的图像序列；获取所述图像序列中的基准图像；依据所述基准图像和所述图像序列中与所述基准图像连续的若干帧连续图像，建立三维模型；依据所述三维模型，确定所述拍摄对象的长宽比；依据所述长宽比对所述基准图像进行投影校正，获取所述拍摄对象对应的校正图像。本公开能够避免图像产生畸变的情况。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本公开的实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

证件是指如身份证、护照、营业执照等法定证件，目前，某些网站平台需要采集证件图像，完成证件信息的录入，而采集证件图像的方式通常是由用户采用手机等智能终端对证件进行拍摄，得到证件图像，而由于用户拍摄水平有限，必然会造成拍摄得到的证件图像的质量差异较大，且在用户拍摄过程中，势必会产生不必要的抖动，导致拍摄的证件图像产生畸变的情况。

发明内容

本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质，用以校准图像的真实长宽比，避免证件图像出现畸变的情况。

根据本公开的实施例的第一方面，提供了一种图像处理方法，包括：采集拍摄对象对应的图像序列；

获取所述图像序列中的基准图像；

依据所述基准图像和所述图像序列中与所述基准图像连续的若干帧连续图像，建立三维模型；

依据所述三维模型，确定所述拍摄对象的长宽比；

依据所述长宽比对所述基准图像进行投影校正，获取所述拍摄对象对应的校正图像。

在本公开的一种具体实现中，所述采集拍摄对象对应的图像序列的步骤，包括：

采用预置摄像头，按照第一拍摄参数对预设区域进行拍摄；

在所述摄像头的拍摄区域内检测到所述拍摄对象的情况下，对所述第一拍摄参数进行调整，生成第二拍摄参数；

按照第二拍摄参数采集所述拍摄对象的图像序列。

在本公开的一种具体实现中，所述获取所述图像序列中的基准图像的步骤，包括：

获取与所述图像序列中的各图像关联的图像质量参数；

将各所述图像质量参数输入预先训练好的逻辑回归模型；

接收由所述逻辑回归模型输出的各所述图像对应的评分值；

基于各所述评分值，获取所述图像序列中的基准图像。

在本公开的一种具体实现中，所述基于各所述评分值，获取所述图像序列中的基准图像的步骤，包括：

获取所述图像序列中第一帧图像对应的第一评分值，及所述图像序列中除所述第一帧图像之外的其它帧图像对应的第二评分值；

将所述第一评分值与第一评分阈值进行比较，及各所述第二评分值与所述第二评分阈值进行比较；其中，所述第一评分阈值大于所述第二评分阈值；

在所述第一评分值大于所述第一评分阈值，且各所述第二评分值均大于所述第二评分阈值的情况下，计算所述图像序列中相连两帧图像的角点偏移均值；

在各所述角点偏移均值的绝对值小于预设偏移阈值的情况下，获取所述图像序列中评分值最大的图像，并将所述评分值最大的图像作为所述基准图像。

在本公开的一种具体实现中，所述依据所述基准图像和所述图像序列中与所述基准图像连续的若干帧连续图像，建立三维模型的步骤，包括：

将所述基准图像和所述若干帧连续图像输入模型建立算法；

采用所述模型建立算法建立与所述基准图像关联的三维模型。

在本公开的一种具体实现中，所述依据所述三维模型，确定所述拍摄对象的长宽比的步骤，包括：

获取由所述模型建立算法输出的所述拍摄对象的角点坐标；

依据所述角点坐标计算所述拍摄对象的长宽比。

在本公开的一种具体实现中，所述图像质量参数包括清晰度、边缘保持系数、对比度噪声比和角点偏移均值中的至少一种。

在本公开的一种具体实现中，所述方法还包括：将所述校正图像在用户终端处展示。

根据本公开的实施例的第二方面，提供了一种图像处理装置，包括：

图像序列采集模块，用于采集拍摄对象对应的图像序列；

基准图像获取模块，用于获取所述图像序列中的基准图像；

三维模型建立模块，用于依据所述基准图像和所述图像序列中与所述基准图像连续的若干帧连续图像，建立三维模型；

长宽比确定模块，用于依据所述三维模型，确定所述拍摄对象的长宽比；

校正图像获取模块，用于依据所述长宽比对所述基准图像进行投影校正，获取所述拍摄对象对应的校正图像。

在本公开的一种具体实现中，所述图像序列采集模块包括：

预设区域拍摄子模块，用于采用预置摄像头，按照第一拍摄参数对预设区域进行拍摄；

拍摄参数生成子模块，用于在所述摄像头的拍摄区域内检测到所述拍摄对象的情况下，对所述第一拍摄参数进行调整，生成第二拍摄参数；

图像序列采集子模块，用于按照第二拍摄参数采集所述拍摄对象的图像序列。

在本公开的一种具体实现中，所述基准图像获取模块包括：

图像质量参数获取子模块，用于获取与所述图像序列中的各图像关联的图像质量参数；

图像质量参数输入子模块，用于将各所述图像质量参数输入预先训练好的逻辑回归模型；

图像评分值接收子模块，用于接收由所述逻辑回归模型输出的各所述图像对应的评分值；

基准图像获取子模块，用于基于各所述评分值，获取所述图像序列中的基准图像。

在本公开的一种具体实现中，所述基准图像获取子模块包括：

评分值获取子模块，用于获取所述图像序列中第一帧图像对应的第一评分值，及所述图像序列中除所述第一帧图像之外的其它帧图像对应的第二评分值；

评分值比较子模块，用于将所述第一评分值与第一评分阈值进行比较，及各所述第二评分值与所述第二评分阈值进行比较；其中，所述第一评分阈值大于所述第二评分阈值；

偏移值计算子模块，用于在所述第一评分值大于所述第一评分阈值，且各所述第二评分值均大于所述第二评分阈值的情况下，计算所述图像序列中相连两帧图像的角点偏移均值；

基准图像选取子模块，用于在各所述角点偏移均值的绝对值小于预设偏移阈值的情况下，获取所述图像序列中评分值最大的图像，并将所述评分值最大的图像作为所述基准图像。

在本公开的一种具体实现中，所述三维模型建立模块包括：

基准图像输入子模块，用于将所述基准图像和所述若干帧连续图像输入模型建立算法；

三维模型建立子模块，用于采用所述模型建立算法建立与所述基准图像关联的三维模型。

在本公开的一种具体实现中，所述长宽比确定模块包括：

角点坐标获取子模块，用于获取由所述模型建立算法输出的所述拍摄对象的角点坐标；

长宽比计算子模块，用于依据所述角点坐标计算所述拍摄对象的长宽比。

在本公开的一种具体实现中，所述图像质量参数包括清晰度、边缘保持系数、对比度噪声比和角点偏移均值中的至少一种。

在本公开的一种具体实现中，所述装置还包括：校正图像展示模块，用于将所述校正图像在用户终端处展示。

根据本公开的实施例的第三方面，提供了一种电子设备，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述一个或多个所述的图像处理方法。

根据本公开的实施例的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述一个或多个所述的图像处理方法。

本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质。通过采集拍摄对象对应的图像序列，获取图像序列中的基准图像，依据基准图像和图像序列中与基准图像连续的若干帧连续图像，建立三维模型，依据三维模型，确定拍摄对象的长宽比，并依据长宽比对基准图像进行投影校正，获取拍摄对象对应的校正图像。本公开实施例可以根据拍摄对象的真实长宽比对基准图像进行投影校正，从而可以准确校正基准图像真实长宽比，能够避免图像产生畸变的情况。

附图说明

为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本公开实施例提供的一种图像处理方法的步骤流程图；

图2是本公开实施例提供的一种图像处理方法的步骤流程图；

图3是本公开实施例提供的一种图像处理装置的结构示意图；

图4是本公开实施例提供的一种图像处理装置的结构示意图。

具体实施方式

下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。

实施例一

参照图1，示出了本公开实施例提供的一种图像处理方法的步骤流程图，该图像处理方法具体可以包括如下步骤：

步骤101：采集拍摄对象对应的图像序列。

在本公开实施例中，拍摄对象是指用于进行图像采集的对象，拍摄对象可以是待拍摄的证件(如身份证、营业执照、护照等)等对象，具体地，可以根据实际情况而定。

当然，在本公开中，拍摄对象尤其是指用户的证件。

图像序列是指对拍摄对象进行连续拍摄得到的连续的多个图像组成的序列，对于采集的图像序列可以有8张图像，也可以有10张图像，本公开实施例对此不加以限制。

采集图像序列的设备可以是采用移动终端(如手机等)上配备的摄像头进行的采集，也可以时采用相机进行的采集，本公开实施例对此也不加以限制。

在采集拍摄对象对应的图像序列时，可以先使用图像采集设备对拍摄对象进行定位，并在定位之后再对图像采集设备的拍摄参数进行调整，并执行拍摄功能，以获取拍摄对象对应的图像序列。

对于图像序列的采集过程将在下述实施例二中进行详细描述，本公开实施例在此不再加以赘述。

在采集得到拍摄对象对应的图像序列之后，执行步骤102。

步骤102：获取所述图像序列中的基准图像。

基准图像是指图像序列中评分最高的一帧图像，例如，图像序列中包含图像1、图像2和图像3，图像1的评分为0.6，图像2的评分为0.7，图像的评分为0.4，则将图像2作为图像序列中的基准图像。

可以理解地，上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例，不作为对本公开实施例的唯一限制。

在获取图像序列之后，可以将获取图像序列中各图像的图像质量参数，并将图像质量参数输入预先训练好的逻辑回归模型，从而可以得到各图像的评分值，并根据各图像的评分值从图像序列中选择出基准图像。

对于上述获取基准图像的过程将在下述实施例二中进行详细描述，本公开实施例在此不再加以赘述。

在获取图像序列中的基准图像之后，执行步骤103。

步骤103：依据所述基准图像和所述图像序列中与所述基准图像连续的若干帧连续图像，建立三维模型。

在获取图像序列中的基准图像之后，可以获取图像序列中与基准图像连续的若干帧连续图像，例如，图像序列中包含的图像依次为：图像1、图像2、图像3、图像4、图像5、图像6、图像7、图像8和图像9，在图像5为基准图像时，在需要获取5帧图像时，则获取图像6、图像7、图像3和图像4。

可以理解地，上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例，不作为对本公开实施例的唯一限制。

在获取基准图像和图像序列中与基准图像连续的若干帧连续图像之后，可以依据基准图像和图像序列中与基准图像连续的若干帧连续图像构建三维模型，具体地，可以将这些图像输入模型建立算法，重建稀疏三维点云模型，对于此过程将在下述实施例二中进行详细描述，本公开实施例在此不再加以赘述。

在依据基准图像和图像序列中与基准图像连续的若干帧连续图像，建立三维模型之后，执行步骤104。

步骤104：依据所述三维模型，确定所述拍摄对象的长宽比。

长宽比是指拍摄对象的真实长宽比例，例如，拍摄对象为身份证时，长宽比即为身份证的长宽比例，例如，在身份证的长度为10cm，宽度为8cm时，身份证的真实长宽比即为10：8＝5：4。

可以理解地，上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例，不作为对本公开实施例的唯一限制。

在根据基准图像和图像序列中与基准图像连续的若干帧连续图像建立三维模型之后，可以根据三维模型，获取拍摄对象的角点坐标，进而根据角点坐标计算得到拍摄对象的真实长宽比。

对于上述根据三维模型确定拍摄对象的长宽比的具体实现过程将在下述实施例二中进行详细描述，本公开实施例在此不再加以赘述。

在依据三维模型确定拍摄对象的长宽比之后，执行步骤105。

步骤105：依据所述长宽比对所述基准图像进行投影校正，获取所述拍摄对象对应的校正图像。

投影校正是指采用拍摄对象的真实长宽比例对基准图像的长宽比例进行校正。

在得到拍摄对象的真实长宽比之后，可以根据拍摄对象的真实长宽比对基准图像进行投影校正，从而对基准图像的长宽比进行调整，以使基准图像的长宽比与拍摄对象的长宽比一致，进而可以避免得到的图像存在畸变的情况。

本公开实施例通过拍摄对象的真实长宽比对基准图像进行投影校正，从而可以避免最终得到的图像存在畸变的问题。

本公开实施例提供的图像处理方法，通过采集拍摄对象对应的图像序列，获取图像序列中的基准图像，依据基准图像和图像序列中与基准图像连续的若干帧连续图像，建立三维模型，依据三维模型，确定拍摄对象的长宽比，并依据长宽比对基准图像进行投影校正，获取拍摄对象对应的校正图像。本公开实施例可以根据拍摄对象的真实长宽比对基准图像进行投影校正，从而可以准确校正基准图像真实长宽比，能够避免图像产生畸变的情况。

实施例二

参照图2，示出了本公开实施例提供的一种图像处理方法的步骤流程图，该图像处理方法具体可以包括如下步骤：

步骤201：采用预置摄像头，按照第一拍摄参数对预设区域进行拍摄。

在本公开实施例中，预置摄像头是指用于采集拍摄对象对应的图像的摄像头，预置摄像头可以是用户使用的移动终端(如手机等)。

拍摄对象是指用于进行图像采集的对象，拍摄对象可以是待拍摄的证件(如身份证、营业执照、护照等)等对象，具体地，可以根据实际情况而定。

当然，在本公开中，拍摄对象尤其是指用户的证件。

预设区域是指拍摄对象所处的区域，第一拍摄参数是指用户在未定位到拍摄对象时所使用的拍摄参数，可以理解地，拍摄参数通常包括ISO(International StandardsOrganization)感光度、光圈参数、曝光值等参数，具体地，可以根据实际情况而定。

在用户使用预置摄像头对拍摄对象所处的区域拍摄视频时，可以先采集预置摄像头对拍摄对象进行检测定位，即按照第一拍摄参数对预设区域进行拍摄，进而，执行步骤202。

步骤202：在所述摄像头的拍摄区域内检测到所述拍摄对象的情况下，对所述第一拍摄参数进行调整，生成第二拍摄参数。

视频拍摄过程中，在某一帧首次定位到拍摄对象时，可以将该帧确定为拍摄对象对应的首帧图像。

第二拍摄参数是指对第一拍摄参数进行调整之后得到的拍摄参数。

在定位到拍摄对象所对应的首帧图像时，则可以对预置摄像头的拍摄参数进行调整，如对焦、测光、光圈调整等，以确保采集的拍摄对象的清晰度。

在摄像头的拍摄区域内检测到拍摄对象之后，可以对第一拍摄参数进行调整，生成第二拍摄参数，进而，执行步骤203。

步骤203：按照第二拍摄参数采集所述拍摄对象的图像序列。

图像序列是指对拍摄对象进行连续拍摄得到的连续的多个图像组成的序列，对于采集的图像序列可以有8张图像，也可以有10张图像，本公开实施例对此不加以限制。

在对预置摄像头的拍摄参数进行调整之后，可以继续使用预置摄像头，按照调整得到的第二拍摄参数对拍摄对象进行视频采集过程，以得到拍摄对象对应的图像序列。

可以理解地，在对拍摄对象采集视频时，可以根据采集的视频，按照拍摄对象出现首帧在视频中所处的位置，提取出后续拍摄的视频，并从后续拍摄的视频中提取得到拍摄对象对应的图像序列。

在按照第二拍摄参数采集拍摄对象的图像序列之后，执行步骤204。

步骤204：获取与所述图像序列中的各图像关联的图像质量参数。

图像质量参数是指用于表示拍摄得到的图像质量的参数。

在本公开中，图像质量参数可以包括清晰度、边缘保持系数、对比度噪声比和角点偏移均值等参数中的一种或多种。

图像清晰度是指影像上各细部影纹及其边界的清晰程度，图像清晰度可以是在预置摄像头采集得到图像序列之后，根据每张图像的清晰程度而给出的清晰度值。

边缘保持系数是指图像边缘轮廓保留的特征(如图像边缘的像素点等特征)的系数。

对比度噪声比是指图像中相邻组织、结构间的SNR(信噪比)的差异。

角点偏移均值是指角点偏移的均值向量，可以理解地，角点偏移均值是通过图像序列中连续的两张图像计算得到的。

当然，在实际应用中，图像质量参数还可以结合其它参数，本公开提及的上述几种参数仅是为了更好地理解本公开实施例的技术方案而列举的几种参数，不作为对本公开实施例的唯一限制。

可以理解地，上述几种图像质量参数均为本领域已经比较熟知的参数，而对于获取图像序列中每张图像的图像质量参数的具体过程，可以参见现有技术中的获取方式，本公开实施例在此不再加以详细描述。

在获取图像序列中的各图像关联的图像质量参数之后，执行步骤205。

步骤205：将各所述图像质量参数输入预先训练好的逻辑回归模型。

逻辑回归模型(Logistic Regression，LR)是一种分类模型，属于一种判别模型，可以用于预测一个用户是否点击广告，判别用户性别等。

在本公开中，旨在使用LR给出图像序列中各图像包含拍摄对象的评分值，评分越高表示所得到的图像越符合要求，评分越低表示拍摄的图像越不符合要求，例如，图像中未将拍摄对象全部包含等。

在得到图像序列中各图像关联的图像质量参数之后，可以针对每张图像，依次将该张图像的图像质量参数输入预先训练好的LR，例如，图像序列中包含图像A，图像A的图像质量参数为：清晰度为C，边缘保持系数为P，角点偏移均值为SF、对比度噪声比为R，则将C、P、SF、R输入至LR。

可以理解地，上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例，不作为对本公开实施例的唯一限制。

在将各图像质量参数输入预先训练好的逻辑回归模型之后，执行步骤206。

步骤206：接收由所述逻辑回归模型输出的各所述图像对应的评分值。

评分值是指图像序列中每张图像所对应的评分，例如，图像序列中包括图像1和图像2，图像1的评分值为0.6，图像2的评分值为0.9等。

在将各图像的图像质量参数输入预先训练好的LR之后，可以由LR根据每张图像的图像质量参数，统计得到每张图像的评分值，并输出每张图像的评分值。

进而，系统可以接收由LR输出的每张图像的评分值，并执行步骤207。

步骤207：基于各所述评分值，获取所述图像序列中的基准图像。

基准图像是指图像序列中评分最高的一帧图像，例如，图像序列中包含图像1、图像2和图像3，图像1的评分为0.6，图像2的评分为0.7，图像的评分为0.4，则将图像2作为图像序列中的基准图像。

可以理解地，上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例，不作为对本公开实施例的唯一限制。

在获取图像序列中各图像的评分值之后，可以根据各图像对应的评分值，从图像序列中选择出基准图像。

而对于基准图像的选择过程可以参照下述具体实现方式的详细描述。

在本公开的一种具体实现中，上述步骤207可以包括：

子步骤S1：获取所述图像序列中第一帧图像对应的第一评分值，及所述图像序列中除所述第一帧图像之外的其它帧图像对应的第二评分值。

在本公开实施例中，第一帧图像是指在采用预置摄像头对拍摄对象进行定位的过程中，首次出现拍摄对象的一帧图像。

第一评分值是指第一帧图像的评分值。

第二评分值是指图像序列中除第一帧图像之外的其它帧图像的评分值，例如，图像序列依次包括图像1、图像2和图像3，其中，图像1为图像序列中的第一帧图像，图像1的评分值即为第一评分值，图像2和图像3的评分值均为第二评分值。

在识别出图像序列中第一帧图像之后，可以获取由LR输出的第一帧图像的第一评分值，并获取由LR输出的其它帧图像的第二评分值，并执行子步骤S2。

子步骤S2：将所述第一评分值与第一评分阈值进行比较，及各所述第二评分值与所述第二评分阈值进行比较；其中，所述第一评分阈值大于所述第二评分阈值。

第一评分阈值是指由业务人员预先设置的与第一评分值进行比较的阈值。

第二评分阈值是指由业务人员预先设置的与第二评分值进行比较的阈值。

第一评分阈值可以为0.8、0.7或0.6等等，具体地，可以根据业务需求而定，本公开实施例对于第一评分阈值的具体数值不加以限制。

第二评分阈值可以为0.6、0.5或0.4等等，具体地，可以根据业务需求而定，本公开实施例对于第二评分阈值的具体数值不加以限制。

其中，第一评分阈值是大于第二评分阈值的，例如，在第一评分阈值为0.8时，则第二评分阈值必然是小于第一评分阈值的，可以为0.7、0.65等等。

可以理解地，上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例，不作为对本公开实施例的唯一限制。

在获取第一帧图像的第一评分值，及图像序列中除第一帧图像之外的其它帧图像的第二评分值之后，可以将第一评分值与第一评分阈值进行比较，并将各第二评分值与第二评分阈值进行比较，进而，执行子步骤S3。

子步骤S3：在所述第一评分值大于所述第一评分阈值，且各所述第二评分值均大于所述第二评分阈值的情况下，计算所述图像序列中相连两帧图像的角点偏移均值。

在本公开中，在第一评分值小于等于第一评分阈值，或各第二评分值中存在小于或等于第二评分阈值的情况下，表示采集的拍摄对象的图像序列不符合要求，需要重新采集拍摄对象对应的图像序列。

而在第一评分值大于第一评分阈值，且各第二评分值均大于第二评分阈值的情况下，则可以计算图像序列中相邻两帧图像的角点偏移均值，例如，图像序列中依次包含图像1、图像2、图像3和图像4，在图像序列满足条件时，则计算图像1和图像2的角点偏移均值，图像2和图像3的角点偏移均值，图像3和图像4的角点偏移均值。

可以理解地，上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例，不作为对本公开实施例的唯一限制。

在计算得到图像序列中相连两帧图像的角点偏移均值之后，执行子步骤S4。

子步骤S4：在各所述角点偏移均值的绝对值小于预设偏移阈值的情况下，获取所述图像序列中评分值最大的图像，并将所述评分值最大的图像作为所述基准图像。

预设偏移阈值是指由业务人员预先设置的与图像序列中相邻两帧图像的角点偏移均值进行比较的阈值。

预设偏移阈值可以为8、6或5等等，具体地，可以根据业务需求而定，本公开实施例对于预设偏移阈值的具体数值不加以限制。

在图像序列中相邻两帧图像的角点偏移均值的绝对值小于预设偏移阈值的情况下，表示图像序列中相邻两帧图像的角点偏移较小，表示这两帧图像符合预设偏移阈值条件。

在各角点偏移均值的绝对值均小于预设偏移阈值时，则可以获取图像序列中评分值最大的图像，并将评分值最大的图像作为基准图像，例如，图像序列中包括图像1、图像2、图像3和图像4，图像1的评分值为0.5，图像2的评分值为0.6，图像3的评分值为0.8，图像4的评分值为0.7，则将图像3作为基准图像。

可以理解地，上述示例仅是为了更好地理解本公开实施例的方案而列举的示例，不作为对本公开实施例的唯一限制。

在基于图像序列中的各图像的评分值，从图像序列中获取基准图像之后，执行步骤208。

步骤208：将所述基准图像和所述若干帧连续图像输入模型建立算法。

在获取图像序列中的基准图像之后，可以获取图像序列中与基准图像连续的若干帧连续图像，例如，图像序列中包含的图像依次为：图像1、图像2、图像3、图像4、图像5、图像6、图像7、图像8和图像9，在图像5为基准图像时，在需要获取5帧图像时，则获取图像6、图像7、图像3和图像4。

可以理解地，上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例，不作为对本公开实施例的唯一限制。

模型建立算法是一种基于各种收集到的无序图片进行三维重建的离线算法，在得到图像序列中的基准图像和若干连续图像输入模型建立算法。

在将基准图像和若干帧连续图像输入模型建立算法之后，执行步骤209。

步骤209：采用所述模型建立算法建立与所述基准图像关联的三维模型。

在将基准图像和若干帧连续图像输入模型建立算法之后，可以由模型建立算法根据基准图像和若干帧连续图像建立与基准图像关联的三维模型。

在本公开中，模型建立算法可以为SFM算法，以下针对采用SFM算法建立三维模型的过程进行详细描述。

首先从基准图像和若干帧连续图像中提取焦距信息(之后初始化BA需要)，然后利用SIFT等特征提取算法去提取图像特征，用kd-tree模型去计算两张图片特征点之间的欧式距离进行特征点的匹配，从而找到特征点匹配个数达到要求的图像对。对于每一个图像匹配对，计算对极几何，估计F矩阵并通过ransac算法优化改善匹配对。如果有特征点可以在这样的匹配对中链式地传递下去，一直被检测到，那么就可以形成轨迹。之后进入structure-from-motion部分，关键的第一步就是选择两幅图像对去初始化整个BA过程。首先对初始化选择的两幅图像进行第一次BA，然后循环添加新的图像进行新的BA，最后直到没有可以继续添加的合适的图片，BA结束，从而人可以得到相机估计参数和场景几何信息，即稀疏的3D点云，也即三维模型。

在采用模型建立算法建立与基准图像关联的三维模型之后，执行步骤210。

步骤210：获取由所述模型建立算法输出的所述拍摄对象的角点坐标。

在建立与基准图像关联的三维模型之后，可以由模型建立算法根据建立的三维模型输出拍摄对象的角点坐标。

系统可以在接收到由模型建立算法输出的拍摄对象的角点坐标之后，执行步骤211。

步骤211：依据所述角点坐标计算所述拍摄对象的长宽比。

长宽比是指拍摄对象的长度和宽度的比值，也即拍摄对象的真实长宽比例。

在获取拍摄对象的角点坐标之后，可以根据拍摄对象的角点坐标计算出拍摄对象的真实长宽比，例如，拍摄对象的四个角的坐标为：(0，0，0)、(3，2，0)、(0，2，0)和(3，0，0)，由此可以得知，拍摄对象的长度为3，宽度为2，拍摄对象的长宽比即为3:2。

可以理解地，上述示例仅是为了更好地理解本公开实施例的技术方案而列举的示例，不作为对本公开实施例的唯一限制。

在依据角点坐标计算出拍摄对象真实的长宽比之后，执行步骤212。

步骤212：依据所述长宽比对所述基准图像进行投影校正，获取所述拍摄对象对应的校正图像。

投影校正是指采用拍摄对象的真实长宽比例对基准图像的长宽比例进行校正。

在得到拍摄对象的真实长宽比之后，可以根据拍摄对象的真实长宽比对基准图像进行投影校正，从而对基准图像的长宽比进行调整，以使基准图像的长宽比与拍摄对象的长宽比一致，进而可以避免得到的图像存在畸变的情况。

在得到校正图像之后，可以将得到的校正图像在用户终端的显示界面内进行展示，以为用户提供一张无畸变的校准图像，可以供用户使用，如证件校验、信息识别等等。

本公开实施例通过拍摄对象的真实长宽比对基准图像进行投影校正，从而可以避免最终得到的图像存在畸变的问题。

本公开实施例提供的图像处理方法，除了具备上述实施例一提供的图像处理方法所具备的有益效果外，还可以采用多图像质量参数融合的方式获取基准图像，相较于采用单一评判标准，可以更准确的捕获最优帧图像。

实施例三

参照图3，示出了本公开实施例提供的一种图像处理装置的结构示意图，该图像处理装置具体可以包括如下模块：

图像序列采集模块310，用于采集拍摄对象对应的图像序列；

基准图像获取模块320，用于获取所述图像序列中的基准图像；

三维模型建立模块330，用于依据所述基准图像和所述图像序列中与所述基准图像连续的若干帧连续图像，建立三维模型；

长宽比确定模块340，用于依据所述三维模型，确定所述拍摄对象的长宽比；

校正图像获取模块350，用于依据所述长宽比对所述基准图像进行投影校正，获取所述拍摄对象对应的校正图像。

本公开实施例提供的图像处理装置，通过采集拍摄对象对应的图像序列，获取图像序列中的基准图像，依据基准图像和图像序列中与基准图像连续的若干帧连续图像，建立三维模型，依据三维模型，确定拍摄对象的长宽比，并依据长宽比对基准图像进行投影校正，获取拍摄对象对应的校正图像。本公开实施例可以根据拍摄对象的真实长宽比对基准图像进行投影校正，从而可以准确校正基准图像真实长宽比，能够避免图像产生畸变的情况。

实施例四

参照图4，示出了本公开实施例提供的一种图像处理装置的结构示意图，该图像处理装置具体可以包括如下模块：

图像序列采集模块410，用于采集拍摄对象对应的图像序列；

基准图像获取模块420，用于获取所述图像序列中的基准图像；

三维模型建立模块430，用于依据所述基准图像和所述图像序列中与所述基准图像连续的若干帧连续图像，建立三维模型；

长宽比确定模块440，用于依据所述三维模型，确定所述拍摄对象的长宽比；

校正图像获取模块450，用于依据所述长宽比对所述基准图像进行投影校正，获取所述拍摄对象对应的校正图像。

在本公开的一种具体实现中，所述图像序列采集模块410包括：

预设区域拍摄子模块411，用于采用预置摄像头，按照第一拍摄参数对预设区域进行拍摄；

拍摄参数生成子模块412，用于在所述摄像头的拍摄区域内检测到所述拍摄对象的情况下，对所述第一拍摄参数进行调整，生成第二拍摄参数；

图像序列采集子模块413，用于按照第二拍摄参数采集所述拍摄对象的图像序列。

在本公开的一种具体实现中，所述基准图像获取模块420包括：

图像质量参数获取子模块421，用于获取与所述图像序列中的各图像关联的图像质量参数；

图像质量参数输入子模块422，用于将各所述图像质量参数输入预先训练好的逻辑回归模型；

图像评分值接收子模块423，用于接收由所述逻辑回归模型输出的各所述图像对应的评分值；

基准图像获取子模块424，用于基于各所述评分值，获取所述图像序列中的基准图像。

在本公开的一种具体实现中，所述基准图像获取子模块424包括：

评分值获取子模块，用于获取所述图像序列中第一帧图像对应的第一评分值，及所述图像序列中除所述第一帧图像之外的其它帧图像对应的第二评分值；

评分值比较子模块，用于将所述第一评分值与第一评分阈值进行比较，及各所述第二评分值与所述第二评分阈值进行比较；其中，所述第一评分阈值大于所述第二评分阈值；

偏移值计算子模块，用于在所述第一评分值大于所述第一评分阈值，且各所述第二评分值均大于所述第二评分阈值的情况下，计算所述图像序列中相连两帧图像的角点偏移均值；

基准图像选取子模块，用于在各所述角点偏移均值的绝对值小于预设偏移阈值的情况下，获取所述图像序列中评分值最大的图像，并将所述评分值最大的图像作为所述基准图像。

在本公开的一种具体实现中，所述三维模型建立模块430包括：

基准图像输入子模块431，用于将所述基准图像和所述若干帧连续图像输入模型建立算法；

三维模型建立子模块432，用于采用所述模型建立算法建立与所述基准图像关联的三维模型。

在本公开的一种具体实现中，所述长宽比确定模块440包括：

角点坐标获取子模块441，用于获取由所述模型建立算法输出的所述拍摄对象的角点坐标；

长宽比计算子模块442，用于依据所述角点坐标计算所述拍摄对象的长宽比。

在本公开的一种具体实现中，所述图像质量参数包括清晰度、边缘保持系数、对比度噪声比和角点偏移均值中的至少一种。

在本公开的一种具体实现中，所述装置还包括：校正图像展示模块，用于将所述校正图像在用户终端处展示。

本公开实施例提供的图像处理装置，除了具备上述实施例三提供的图像处理装置所具备的有益效果外，还可以采用多图像质量参数融合的方式获取基准图像，相较于采用单一评判标准，可以更准确的捕获最优帧图像。

本公开的实施例还提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现前述实施例一和实施例二中任一项的图像处理方法。

本公开的实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例一和实施例二中任一项的图像处理方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开的实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的实施例的内容，并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的实施例的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

本公开的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开的实施例的动态图片的生成设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述仅为本公开的实施例的较佳实施例而已，并不用以限制本公开的实施例，凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本公开的实施例的保护范围之内。

以上所述，仅为本公开的实施例的具体实施方式，但本公开的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的实施例的保护范围之内。因此，本公开的实施例的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

从视频流中采集拍摄对象对应的图像序列；

获取所述图像序列中的基准图像；

依据所述基准图像和所述图像序列中与所述基准图像连续的若干帧连续图像，建立三维模型；

依据所述三维模型，确定所述拍摄对象的长宽比；

依据所述长宽比对所述基准图像进行投影校正，获取所述拍摄对象对应的校正图像。

2.根据权利要求1所述的方法，其特征在于，所述采集拍摄对象对应的图像序列的步骤，包括：

采用预置摄像头，按照第一拍摄参数对预设区域进行拍摄；

在所述摄像头的拍摄区域内检测到所述拍摄对象的情况下，对所述第一拍摄参数进行调整，生成第二拍摄参数；

按照第二拍摄参数采集所述拍摄对象的图像序列。

3.根据权利要求1所述的方法，其特征在于，所述获取所述图像序列中的基准图像的步骤，包括：

获取与所述图像序列中的各图像关联的图像质量参数；

将各所述图像质量参数输入预先训练好的逻辑回归模型；

接收由所述逻辑回归模型输出的各所述图像对应的评分值；

基于各所述评分值，获取所述图像序列中的基准图像。

4.根据权利要求3所述的方法，其特征在于，所述基于各所述评分值，获取所述图像序列中的基准图像的步骤，包括：

获取所述图像序列中第一帧图像对应的第一评分值，及所述图像序列中除所述第一帧图像之外的其它帧图像对应的第二评分值；

将所述第一评分值与第一评分阈值进行比较，及各所述第二评分值与所述第二评分阈值进行比较；其中，所述第一评分阈值大于所述第二评分阈值；

在所述第一评分值大于所述第一评分阈值，且各所述第二评分值均大于所述第二评分阈值的情况下，计算所述图像序列中相连两帧图像的角点偏移均值；

在各所述角点偏移均值的绝对值小于预设偏移阈值的情况下，获取所述图像序列中评分值最大的图像，并将所述评分值最大的图像作为所述基准图像。

5.根据权利要求1所述的方法，其特征在于，所述依据所述基准图像和所述图像序列中与所述基准图像连续的若干帧连续图像，建立三维模型的步骤，包括：

将所述基准图像和所述若干帧连续图像输入模型建立算法；

采用所述模型建立算法建立与所述基准图像关联的三维模型。

6.根据权利要求5所述的方法，其特征在于，所述依据所述三维模型，确定所述拍摄对象的长宽比的步骤，包括：

获取由所述模型建立算法输出的所述拍摄对象的角点坐标；

依据所述角点坐标计算所述拍摄对象的长宽比。

7.根据权利要求3所述的方法，其特征在于，所述图像质量参数包括清晰度、边缘保持系数、对比度噪声比和角点偏移均值中的至少一种。

8.一种图像处理装置，其特征在于，包括：

图像序列采集模块，用于采集拍摄对象对应的图像序列；

基准图像获取模块，用于获取所述图像序列中的基准图像；

三维模型建立模块，用于依据所述基准图像和所述图像序列中与所述基准图像连续的若干帧连续图像，建立三维模型；

长宽比确定模块，用于依据所述三维模型，确定所述拍摄对象的长宽比；

校正图像获取模块，用于依据所述长宽比对所述基准图像进行投影校正，获取所述拍摄对象对应的校正图像。

9.一种电子设备，其特征在于，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中一个或多个所述的图像处理方法。

10.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如方法权利要求1至7中一个或多个所述的图像处理方法。

Images