CN111292380A

CN111292380A - 图像处理方法及装置

Info

Publication number: CN111292380A
Application number: CN201910263317.7A
Authority: CN
Inventors: 吴华; 周奥; 张慧敏; 李东; 王宇; 米良
Original assignee: Spreadtrum Communications Shanghai Co Ltd
Current assignee: Spreadtrum Communications Shanghai Co Ltd
Priority date: 2019-04-02
Filing date: 2019-04-02
Publication date: 2020-06-16
Anticipated expiration: 2039-04-02
Also published as: CN111292380B

Abstract

本公开涉及一种图像处理方法及装置，该方法包括：根据标定参数对经由所述主摄像元件所拍摄的主图像和经由所述副摄像元件所拍摄的副图像进行校正，以生成主校正图像和副校正图像；获取所述主校正图像和所述副校正图像之间的行对齐误差；根据所述行对齐误差确定所述主校正图像和所述副校正图像之间的视差误差；根据所述行对齐误差和所述视差误差对所述副校正图像进行校正。由此，仅需要进行有限次标定(例如两次或三次)，就能够使主校正图像和副校正图像行对齐并且消除主校正图像和副校正图像之间的视差误差。

Description

图像处理方法及装置

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

双目立体镜头作为目前手机主流测深度的配置，具有诸如性价比高、实用性好等的优点。这种方式实现的原理是模拟人的双眼，通过计算左右摄像机拍摄场景中点的视差来得到深度信息。图1是双目立体视觉视差原理的示意图。如图1所示，建立左右摄像机的坐标系且光心分别为O_l与O_r，假设左右摄像机的二维成像平面是行对齐的(即，同一场景点在左右摄像机的成像平面上的y轴坐标相同)，对于场景中的点M和点P，其在左右摄像机的成像平面上的x轴坐标分别为(m_l,m_r)，(p_l,p_r)，则点M和点P各自的视差分别为(m_r-m_l)、(p_r-p_l)，当物体越近则视差绝对值越大，物体越远则视差绝对值越小，由此，通过视差值就可以判断物体的远近，从而实现测距功能。

双目立体视觉包括左右摄像机的标定和立体匹配。其中，左右摄像机的标定包括：通过标定来确定左右摄像机各自的内参数(例如，焦距和/或主点坐标)和左右摄像机之间的位置关系(例如，旋转矩阵和/或平移矩阵等)，并结合极几何(即，场景中的点在左右摄像机中的成像点满足极线约束)来实现图像校正，使得场景中的点在左右摄像机中的成像点满足行对齐约束。立体匹配包括：在行对齐的图像上寻找匹配点并计算视差值。

摄像机的成像模型一般使用经典的小孔成像模型，即几何上经过线性变换可以将世界坐标系下的场景点投影到图像坐标系下的像素点。图2是小孔成像模型的示意图。如图2所示，场景点Q在世界坐标系下的齐次坐标经过外参数矩阵(即，世界坐标系与摄像机坐标系之间的旋转向量和平移向量)以及内参数矩阵(例如，焦距和/或主点坐标)被转换为图像坐标系下的像素的齐次坐标。由于真实的摄像机都存在畸变，因此无法通过理想的小孔成像模型来建立精确的映射关系，需要在其基础上引入畸变模型(例如径向畸变或者切向畸变)，其中该畸变模型所对应的参数也属于摄像机的内参数。双目立体视觉几何将一个摄像机的坐标系当成世界坐标系，则外参数矩阵就是描述两个摄像机坐标系之间的旋转与平移关系。摄像机标定就是完成求解两个摄像机坐标系之间的外参数以及各自的内参数的过程。

目前摄像机的传统标定方法大致可以包括三维模板标定和二维平面模板标定。三维模板标定的成本较高，因此在手机中双摄标定一般采用二维平面模板(例如，棋盘格模板或者圆点模板等)。二维平面模板标定的原理通常是基于张式标定法(又称张正友标定法)，即，通过拍摄多个不共面的模板，并检测对应的左右图像的匹配点(其来自同一个场景点)，基于旋转向量的正交性和模相等的原理来构建方程求解标定未知量(例如，内外参数)。求解出内外参数以后，标定程序利用Bouguet算法对左右图像进行立体校正(英文：Rectification)，从而实现行对齐(如图1所示)。

如果双摄手机是定焦手机且模组被固定在支架上，则内外参数经过标定之后就不会发生改变。然而，目前主流的双摄手机的主摄像机都需要具有自动对焦(英文：AutoFocus，简称：AF)功能，对焦过程可能会改变双摄模组的内外参数。如果对焦后拍摄的场景图像的音圈马达(英文：Voice Coil Motor，简称：VCM)位置与使用的标定参数VCM位置不一致，则该标定的参数就不太适合，会导致出现行对齐误差(又称y方向矫正误差)和视差误差(又称x方向矫正误差)，即无法行对齐并且同一深度的物体视差值不同。

目前的解决方案是采用多次标定，即在不同的VCM位置处进行多次标定得到多组摄像机的内外参数，在实际应用时，需要依据拍摄的场景图像的VCM位置和进行多次标定所得到的多组摄像机的内外参数来选择适用于该场景图像的标定参数，将所选择的标定参数应用到该场景的左右图像中，并输出校正后的图像。

目前主流的双摄手机的配置，主摄像机一般采用自动对焦，而副摄像机采用定焦镜头，若实际拍摄场景时使用双摄标定产生的摄像机参数信息对场景图像进行校正，则校正后的左右图像会出现行对齐误差和视差误差。如果校正后的主副摄图像存在行对齐误差，则会影响立体匹配的结果，因为立体匹配算法一般建立在同一场景点在主副摄图像上的成像点满足极线约束条件去寻找匹配点。如果校正后的主副摄图像存在视差误差，则会影响最后深度信息的正确性，对背景虚化、测距等应用将产生很大影响。

发明内容

有鉴于此，本公开提出了一种图像处理方法及装置。

根据本公开的一方面，提供了一种图像处理方法，应用于包括主摄像元件和副摄像元件的摄像设备，包括：根据标定参数对经由所述主摄像元件所拍摄的主图像和经由所述副摄像元件所拍摄的副图像进行校正，以生成主校正图像和副校正图像；获取所述主校正图像和所述副校正图像之间的行对齐误差；根据所述行对齐误差确定所述主校正图像和所述副校正图像之间的视差误差；根据所述行对齐误差和所述视差误差对所述副校正图像进行校正。

根据本公开的另一方面，提供了一种图像处理装置，应用于包括主摄像元件和副摄像元件的摄像设备，包括：第一校正单元，用于根据标定参数对经由所述主摄像元件所拍摄的主图像和经由所述副摄像元件所拍摄的副图像进行校正，以生成主校正图像和副校正图像；获取单元，用于获取所述主校正图像和所述副校正图像之间的行对齐误差；确定单元，用于根据所述行对齐误差确定所述主校正图像和所述副校正图像之间的视差误差；第二校正单元，用于根据所述行对齐误差和所述视差误差对所述副校正图像进行校正。

本公开的实施例提供的技术方案可以包括以下有益效果：根据标定参数对主图像和副图像进行校正以生成主校正图像和副校正图像，获取主校正图像和副校正图像之间的行对齐误差，根据所获取的行对齐误差来确定主校正图像和副校正图像之间的视差误差，并根据所获取的行对齐误差和所确定的视差误差来对副校正图像进行校正，由此，仅需要进行有限次标定(例如两次或三次)，就能够使主校正图像和副校正图像行对齐并且消除主校正图像和副校正图像之间的视差误差。

相比于现有技术中的需要进行多次标定，本实施例能够大幅减少标定次数。由于标定次数大幅减少，因此相比于现有技术中由于需要进行多次标定所导致的需要存储大量的数据，本实施例能够大幅减少需要存储的数据，从而能够减少所需的存储空间。

另外，由于根据行对齐误差和视差误差仅对副校正图像进行校正、而无需对主校正图像进行校正，即，仅对副校正图像进行二次变换而不改变主校正图像，因此可以保证主校正图像再返回到主图像的映射关系不改变，从而可以避免重复计算主校正图像到主图像的映射关系，由此可以改善某些应用(例如，散景(英文：bokeh，或称为焦外成像))的时间效率。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1是双目立体视觉视差原理的示意图。

图2是小孔成像模型的示意图。

图3是根据一示例性实施例示出的一种图像处理方法的流程图。

图4是根据一示例性实施例示出的一种获取行对齐误差的一个示例的流程图。

图5是根据一示例性实施例示出的一种计算并存储行对齐误差和视差误差之间的对应关系的一个示例的流程图。

图6是根据一示例性实施例示出的一组验证图像的示意图。

图7是根据一示例性实施例示出的一种图像处理装置的框图。

图8是根据一示例性实施例示出的一种用于图像处理装置的硬件结构框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图3是根据一示例性实施例示出的一种图像处理方法的流程图，该图像处理方法可以应用于包括主摄像元件和副摄像元件的摄像设备。

本实施例中，摄像元件用于对场景进行拍摄并且获取所拍摄的图像，应能够理解，摄像元件包括但不限于可在摄像设备的光轴方向上移动的镜头。摄像设备包括但不限于数字相机、单眼相机、数字摄影机、或具有图像拍摄功能的诸如智能手机、平板电脑、笔记本电脑、个人数字助理、可穿戴设备、智能手环等的电子装置。

摄像设备可以包括摄像模组，其中该摄像模组包括至少两个摄像元件，摄像设备所包括的摄像元件中的一个摄像元件为主摄像元件并且其余摄像元件为副摄像元件。在一种实现方式中，主摄像元件和副摄像元件各自包括独立的镜片、图像传感器和音圈马达，并且主摄像元件和副摄像元件均根据摄像设备例如摄像设备的CPU所提供的电流值来驱动音圈马达，使得主摄像元件和副摄像元件在音圈马达的驱动下调整各自的镜片及其图像传感器之间的距离，从而实现对焦。

应能够理解，本公开不限制摄像元件的数量以及摄像元件和摄像设备的具体实现方式。为便于说明，以下以摄像设备包括两个摄像元件为例对本公开的图像处理方法进行详细阐述。

如图3所示，该图像处理方法可以包括如下步骤。

在步骤S310中，根据标定参数对经由所述主摄像元件所拍摄的主图像和经由所述副摄像元件所拍摄的副图像进行校正，以生成主校正图像和副校正图像。

本实施例中，摄像设备分别利用主摄像元件和副摄像元件对场景进行拍摄并且分别获取主摄像元件所拍摄的主图像和副摄像元件所拍摄的副图像。在一种实现方式中，主图像的图像分辨率较低但涵盖较大的视角范围，并且摄像设备将主图像显示给用户以便于用户观看场景的图像；相应地，副图像的图像分辨率较高但涵盖较小的视角范围，并且摄像设备不将副图像显示给用户而是利用副图像进行诸如变焦、测量深度等的处理。

摄像设备存储有针对主摄像元件和副摄像元件的标定参数，其中该标定参数可表示用于对主摄像元件和副摄像元件所拍摄的图像进行校正所使用的参数，标定参数例如包括摄像设备的内参数和/或摄像设备的外参数，应能够理解，摄像设备的内参数和外参数为所属技术领域的常用技术术语，本公开在此不再赘述。

与现有技术中需要进行多次标定相比，本实施例的图像处理方法仅需要进行少量(即，有限次)的标定，示例性的，可仅需要进行两次或三次标定。摄像设备在有限个VCM值处分别进行标定，摄像设备存储该有限个VCM值各自对应的标定参数。

摄像设备根据所存储的标定参数来校正主图像和副图像，可将校正后的主图像称为“主校正图像”(英文：Main Rectification Image)并且将校正后的副图像称为“副校正图像”(英文：Sub Rectification Image)。示例性的，主校正图像和副校正图像可为灰度图。需要说明的是，主校正图像和副校正图像已经完成了图像的去畸变并且获得了初始的行对齐结果。

在步骤S330中，获取所述主校正图像和所述副校正图像之间的行对齐误差。

应能够理解，理论上，如果标定参数正确，则同一场景点在经过标定参数校正后的主图像和副图像即主校正图像和副校正图像上的成像点应该在同一条水平线上，即，主校正图像和副校正图像理论上应是行对齐的。然而，由于主摄像元件的自动对焦移动会导致标定参数不再适用于新的场景，因此会出现同一场景点在主校正图像和副校正图像上的成像点不在同一条水平线上，即，主校正图像和副校正图像没有行对齐，换言之，主校正图像和副校正图像之间存在行对齐误差(也称为y方向矫正误差)。

相应地，理论上，如果标定参数正确，则同一深度的任意多个场景点在主校正图像和副校正图像上成像，该多个场景点的视差应该相等。然而，由于主摄像元件的自动对焦移动会导致标定参数不再适用于新的场景，因此会出现同一深度的任意多个场景点在主校正图像和副校正图像上成像，该多个场景点的视差不相等，即，主校正图像和副校正图像之间存在视差误差(也称为x方向矫正误差)。

本实施例中，可以调用在线标定(英文：Online Calibration)来获取主校正图像和副校正图像之间的行对齐误差。图4是根据一示例性实施例示出的一种获取行对齐误差的一个示例的流程图，在一种实现方式中，可通过图4所示的方式来获取行对齐误差：

在步骤S331中，根据所述主校正图像的特征信息获取所述主校正图像的主特征点，并且根据所述副校正图像的特征信息获取所述副校正图像的副特征点。

本实施例中，获取步骤S310中所生成的主校正图像和副校正图像，需要说明的是，该主校正图像和副校正图像都完成了去畸变并且获得了一个初始的行对齐结果。根据主校正图像和副校正图像各自的特征信息分别从主校正图像和副校正图像中获取相应的特征点，其中将从主校正图像获取的特征点称为主特征点并且多个主特征点构成主特征点集，相应地，将从副校正图像获取的特征点称为副特征点并且多个副特征点构成副特征点集。

前述特征信息包括但不限于用于描述图像(即，主校正图像和副校正图像)的纹理梯度信息的信息、能够克服光照变化和/或模糊度的变化的信息等。由于特征信息是主校正图像和副校正图像的特征信息，因此实时性好。示例性的，主校正图像的特征信息可为能够充分描述图像的纹理梯度信息的信息，基于该特征信息所获取的主校正点为主校正图像中的纹理丰富的点集。

在一种实现方式中，上述步骤S331可以包括：根据图像的纹理梯度信息采集所述主校正图像中的纹理丰富的特征点，将所采集的特征点作为所述主特征点，其中所述主校正图像的特征信息包括所述图像的纹理梯度信息。

在步骤S333中，根据所述主特征点和所述副特征点，确定所述主校正图像和所述副校正图像的匹配点对。

本实施例中，可以通过如下方式来确定主校正图像和副校正图像的匹配点：

方式一、针对副特征点集中的各副特征点，在主特征点集中寻找与该副特征点匹配的主特征点，若寻找到主特征点，则该副特征点和寻找到的主特征点构成一个匹配点对；若没有寻找到主特征点，则该副特征点没有与之匹配的主特征点，该副特征点与主特征点集中的任意一个主特征点构成一个非匹配点对。

方式二、针对主特征点集中的各主特征点，在副特征点集中寻找与该主特征点匹配的副特征点，若寻找到副特征点，则该主特征点和寻找到的副特征点构成一个匹配点对；若没有寻找到副特征点，则该主特征点没有与之匹配的副特征点，该主特征点与副特征点集中的任意一个副特征点构成一个非匹配点对。

如果主特征点集中的各主特征点是纹理丰富的特征点，则各主特征点能够高效描述主校正图像，因此，相比于通过上述方式一来确定匹配点对，通过上述方式二来确定匹配点对所需的匹配时间更少并且准确性更高。

在步骤S335中，根据所述匹配点对和行对齐约束获取所述行对齐误差，其中所述行对齐约束包括匹配点对的两个特征点是行对齐的。

本实施例中，行对齐约束包括匹配点对的y轴值应该相等，即，匹配点对中的主特征点的y轴值等于该匹配点对中的副特征点的y轴值，其中，主特征点的y轴值是主特征点在主摄像元件的成像平面上的y轴坐标，副特征点的y轴值是副特征点在副摄像元件的成像平面上的y轴坐标。因此，行对齐约束可包括匹配点对中的主特征点和副特征点是行对齐的，即匹配点对中的主特征点和副特征点在同一条水平线上。

由于匹配点对中的主特征点和副特征点的y轴值应该相等，因此，在一种实现方式中，可以计算各匹配点对中的主特征点和副特征点的y轴值之差，将所计算出的所有差取平均，该平均值即为行对齐误差。在另一种实现方式中，可以基于行对齐约束并根据最小二乘法来求取行对齐误差。应能够理解，本公开不限制根据匹配点对和行对齐约束获取行对齐误差的具体实现方式，应能够通过其它算法来根据匹配点对和行对齐约束获取行对齐误差。

在一种实现方式中，上述步骤S335可以包括：

将所述匹配点对划分为可靠匹配点对和非可靠匹配点对；

基于所述可靠匹配点对和所述行对齐约束，计算所述主校正图像和所述副校正图像之间的行对齐误差；

根据所述非可靠匹配点对验证所计算出的行对齐误差，并将验证后的行对齐误差作为所述行对齐误差。

本实施例中，可以根据所确定的所有匹配点对来获取行对齐误差，然而，考虑到匹配的不可靠性，若匹配点对不可靠，则基于不可靠的匹配点对所获取的行对齐误差也不可靠，这是不合适的。基于此，本实施例根据唯一性约束将匹配点对划分为可靠匹配点对和非可靠匹配点对；基于可靠匹配点对和行对齐约束来计算行对齐误差，其中，基于可靠匹配点对和行对齐约束来计算行对齐误差的具体描述可参见前文关于步骤S335的详细阐述，在此不再赘述。另外，应能够理解，可以基于可靠匹配点对中的所有匹配点对来计算行对齐误差，也可以仅基于可靠匹配点对中的部分匹配点对来计算行对齐误差，该部分匹配点对为从可靠匹配点对中的随机选取的匹配点对。

然后，利用非可靠匹配点对来验证所计算出的行对齐误差，即，判断非可靠匹配点对中的主特征点和副特征点的y轴值之差是否满足所计算出的行对齐误差，并且如果预定数量个非可靠匹配点对中的主特征点和副特征点的y轴值之差满足所计算出的行对齐误差，则判断为验证通过，并且将所计算出的行对齐误差作为主校正图像和副校正图像之间的行对齐误差。反之，若判断为验证不通过，则需要返回继续执行步骤S331或S333，直至验证通过。

也就是说，考虑到匹配的不可靠性，采用RANSAC算法，随机选取一定数量的可靠匹配点对来计算行对齐误差，利用非可靠匹配点对来验证该行对齐误差，如果验证通过的匹配点对的数量趋于稳定，则结束验证并且将验证通过的行对齐误差作为主校正图像和副校正图像之间的行对齐误差。由此，能够精确地计算行对齐误差，从而能够更有效地消除行对齐误差。

在步骤S350中，根据所述行对齐误差确定所述主校正图像和所述副校正图像之间的视差误差。

本实施例中，意识到：当旋转向量、平移向量及畸变变化很小时，自动对焦移动所导致的行对齐误差和视差误差应具有线性相关性，即，行对齐误差和视差误差之间具有映射关系，因此，在步骤S330中获取到行对齐误差后，应可以根据所获取的行对齐误差以及行对齐误差和视差误差之间的映射关系来确定视差误差。

应能够理解，行对齐误差和视差误差之间的映射关系既可以是根据规律而规定的，也可以是通过大量的行对齐误差和视差误差的数据而统计分析出来的，还可以是通过其它方式计算出的，本公开对行对齐误差和视差误差之间的映射关系及其获取方式并不做具体限制。

在一种实现方式中，上述图像处理方法还可包括：

计算并存储行对齐误差和视差误差之间的对应关系(即，上述映射关系)，其中，上述步骤S350可以包括：

调用所存储的行对齐误差和视差误差之间的对应关系；

根据所述行对齐误差和所调用的行对齐误差和视差误差之间的对应关系，确定所述主校正图像和所述副校正图像之间的视差误差。

在步骤S370中，根据所述行对齐误差和所述视差误差对所述副校正图像进行校正。

本实施例中，行对齐误差和视差误差可各自为N×1的矩阵，可以将这两个N×1的矩阵融合为一个M×N的矩阵，利用该M×N的矩阵对副校正图像进行校正、即对副图像进行二次校正，由此可消除主校正图像和副校正图像之间的行对齐误差和视差误差，从而得到行对齐且消除视差误差的主校正图像和副校正图像。需要说明的是，可通过现有相关算法来将两个N×1的矩阵融合为一个M×N的矩阵，本公开对此不再赘述。

本实施例的图像处理方法，根据标定参数对主图像和副图像进行校正以生成主校正图像和副校正图像，获取主校正图像和副校正图像之间的行对齐误差，根据所获取的行对齐误差来确定主校正图像和副校正图像之间的视差误差，并根据所获取的行对齐误差和所确定的视差误差来对副校正图像进行校正，由此，仅需要进行有限次标定(例如两次或三次)，就能够使主校正图像和副校正图像行对齐并且消除主校正图像和副校正图像之间的视差误差。

相比于现有技术中的需要进行多次标定，本实施例能够大幅减少标定次数。由于标定次数大幅减少，因此相比于现有技术中由于需要进行多次标定所导致的需要存储大量的数据，本实施例能够大幅减少需要存储的数据，从而能够减少摄像设备所需的存储空间。

在一种实现方式中，对所述主图像和所述副图像进行校正所使用的标定参数是所述摄像设备的标定参数中的与当前拍摄场景的音圈马达VCM值最接近的VCM值所对应的标定参数。

本实施例中，预先在有限个VCM值处进行有限次标定并存储有限个VCM值各自对应的标定参数，即，摄像设备存储有限个VCM值及其对应的标定参数，因此摄像设备可在自身所存储的有限个VCM值中查找当前拍摄场景的VCM值，如果没有查找到当前拍摄场景的VCM值，则摄像设备可使用所存储的有限个VCM值中与当前拍摄场景的VCM值最接近的VCM值所对应的标定参数来校正主图像和副图像。相应地，如果查找到当前拍摄场景的VCM值，则摄像设备可直接使用查找到的VCM值所对应的标定参数来校正主图像和副图像。

本实施例的图像处理方法，由于在没有存储当前拍摄场景的VCM值所对应的标定参数时、使用与当前拍摄场景的VCM值最接近的VCM值所对应的标定参数来校正主图像和副图像，因此无需提供拍摄场景的精确VCM值就可以完成标定算法的校正，由此可减少标定次数。

图5是根据一示例性实施例示出的一种计算并存储行对齐误差和视差误差之间的对应关系的一个示例的流程图，如图5所示，可以通过如下方式来计算并存储行对齐误差和视差误差之间的对应关系：

在步骤S501中，以多个VCM值来驱动所述主摄像元件和所述副摄像元件以对验证模板进行多次拍摄，从而生成多组验证图像，其中每组验证图像包括主验证图像和副验证图像。

本实施例中，可以对某批次的摄像元件模组在不同VCM值下进行标定，从而得到与各VCM值相对应的标定参数(例如，摄像设备的内参数矩阵和/或外参数矩阵)。其中，在做标定时，标定板与摄像元件模组之间的距离不变，仅改变(调整)VCM值。然后，可以选取一个验证模板，固定拍摄距离并根据各VCM值来定焦拍摄所选取的验证板，由此可以生成多组验证图像。其中，将通过主摄像元件对验证模板进行拍摄所获得的验证图像称为主验证图像，并且将通过副摄像元件对验证模板进行拍摄所获得的验证图像称为副验证图像，各组验证图像包括主验证图像和副验证图像。

验证模板上的网格图案具有角点，网格图案包括但不限于棋盘格、圆形等，网格图案中的网格的数量可以根据实际的应用环境进行适应性的配置和修改，本公开对此不做具体限制。若验证模板上的网格图案为棋盘格，则主验证图像和副验证图像也应是棋盘格。图6是根据一示例性实施例示出的一组验证图像的示意图，如图6所示，该组验证图像包括主(main)验证图像和副(sub)验证图像，这两个验证图像中均为棋盘格。另外，在进行拍摄时，验证模板与摄像元件模组之间的距离不变，仅改变(调整)VCM值。

在步骤S502中，根据多组标定参数对所述多组验证图像进行校正，以生成多组校正验证图像，其中每组校正验证图像包括主校正验证图像和副校正验证图像。

本实施例中，使用进行标定时所获得的多组标定参数分别对每组验证图像中的主验证图像和副验证图像进行校正，从而生成多组校正验证图像。其中多组校正验证图像中仅有一组校正验证图像是完全正确的，其它组校正验证图像均存在行对齐误差。即，仅有一组校正验证图像所对应的VCM值与进行标定时所使用的VCM值一致。也就是说，仅有一组在拍摄验证图像时所使用的VCM值与在校正该组验证图像时所使用的标定参数所对应的VCM值一致的。在下述步骤S503中可以以该组校正验证图像作为参照，即，将该组校正验证图像作为参照组校正验证图像。

在步骤S503中，根据参照组校正验证图像中的主校正验证图像的角点的图像坐标和副校正验证图像的角点的图像坐标来计算深度信息，其中所述参照组校正验证图像是所述多组校正验证图像中的在拍摄时所使用的VCM值与在校正时所使用的标定参数所对应的VCM值一致的一组校正验证图像。

本实施例中，使用参照组校正验证图像作为参照，运用角点检测算法来检测该参照组校正验证图像中的主校正验证图像的角点和副校正验证图像的角点，将参照组校正验证图像中的主校正验证图像的角点称为参照主角点，并且将参照组校正验证图像中的副校正验证图像的角点称为参照副角点。对参照主角点和参照副角点进行配对，根据配对中的两个角点的图像坐标来计算这两个角点的视差值并将其转换为深度信息。

在步骤S504中，根据其它组校正验证图像中的各组校正验证图像中的主校正验证图像的角点的图像坐标、拍摄该组校正验证图像时所使用的焦距、拍摄该组校正验证图像时所使用的所述主摄像元件和所述副摄像元件之间的平移值、以及所述深度信息，计算该组校正验证图像中的副校正验证图像的角点的期望坐标，其中所述其它组校正验证图像是所述多组校正验证图像中除所述参照组校正验证图像以外的校正验证图像。

本实施例中，假设参照主角点的图像坐标为(x_l,y_l)，与其匹配的参照副角点的图像坐标为(x_r,y_r)，该参照副角点的齐次坐标为(x_r,y_r,1)，其它组校正验证图像中的各组校正验证图像中的副校正验证图像的角点的期望变换后的图像坐标为(x’_r,y’_r)，由于对于y’_r需要满足行对齐，因此y’_r＝y_l，而x’_r需要通过深度信息与视差值的转换来获得，即，x’_r＝x_l–d，其中，d＝fT/z，d为视差值，f为焦距，T为摄像元件模组的平移值，z为深度信息，由此可以计算出其它组校正验证图像中的各组校正验证图像中的副校正验证图像的角点的期望变换后的图像坐标。

在步骤S505中，根据所述其它组校正验证图像中的各组校正验证图像中的副校正验证图像的角点的期望坐标及其齐次坐标，计算行对齐误差和视差误差之间的对应关系。

本实施例中，可以构建一个M×N的矩阵A，其中第一行为行对齐误差(例如为N×1的矩阵)，第二行为视差误差(例如为N×1的矩阵)，其它组校正验证图像中的各组校正验证图像中的副校正验证图像的角点的期望坐标等于矩阵A与该角点的齐次坐标的乘积，即，

对于一个验证模板具有多个角点，构建多角点矩阵表达式，利用SVD分解方法求解出矩阵A。由于每一组校正验证图像都可以得到一个矩阵A，因此可以将该矩阵A拆分为2个N×1的矩阵(即，行对齐误差和视差误差)，并构建一个N×N的矩阵R来建立这2个N×1的矩阵的映射关系，利用SVD分解方法求解出矩阵R，矩阵R即为行对齐误差和视差误差之间的对应关系。

在步骤S506中，存储所计算出的行对齐误差和视差误差之间的对应关系。

需要说明的是，可通过统计多组摄像元件模组(一般为10组左右)的行对齐误差和视差误差之间的映射关系(即，上述对应关系)，利用诸如最小二乘法等的算法来求取该映射关系，并将求取到的映射关系应用于同一批次的所有模组中。也就是说，可以在摄像设备出厂之前，采用图5所示的方式求取同一批次的主摄像元件和副摄像元件所对应的行对齐误差和视差误差之间的映射关系，并将求取的映射关系存储至摄像设备，由此，在用户使用摄像设备拍摄场景时，摄像设备可以直接调用所存储的映射关系并根据所确定出的行对齐误差来计算出视差误差。

图7是根据一示例性实施例示出的一种图像处理装置的框图。该图像处理装置可以应用于包括主摄像元件和副摄像元件的摄像设备。如图7所示，该图像处理装置可以包括第一校正单元710、获取单元730、确定单元750和第二校正单元770。

第一校正单元710用于根据标定参数对经由所述主摄像元件所拍摄的主图像和经由所述副摄像元件所拍摄的副图像进行校正，以生成主校正图像和副校正图像。获取单元730与第一校正单元710连接，并且用于获取所述主校正图像和所述副校正图像之间的行对齐误差。确定单元750与获取单元730连接，并且用于根据所述行对齐误差确定所述主校正图像和所述副校正图像之间的视差误差。第二校正单元770与获取单元730和确定单元750连接，并且用于根据所述行对齐误差和所述视差误差对所述副校正图像进行校正。

在一种可能的实现方式中，所述获取单元730被配置为：

根据所述主校正图像的特征信息获取所述主校正图像的主特征点，并且根据所述副校正图像的特征信息获取所述副校正图像的副特征点；

根据所述主特征点和所述副特征点，确定所述主校正图像和所述副校正图像的匹配点对；

根据所述匹配点对和行对齐约束获取所述行对齐误差，其中所述行对齐约束包括匹配点对的两个特征点是行对齐的。

在一种可能的实现方式中，根据所述匹配点对和行对齐约束获取所述行对齐误差，包括：

将所述匹配点对划分为可靠匹配点对和非可靠匹配点对；

在一种可能的实现方式中，根据所述主校正图像的特征信息获取所述主校正图像的主特征点，包括：

根据图像的纹理梯度信息采集所述主校正图像中的纹理丰富的特征点，将所采集的特征点作为所述主特征点，其中所述主校正图像的特征信息包括所述图像的纹理梯度信息。

在一种可能的实现方式中，上述图像处理装置还包括：

处理单元(未示出)，用于计算并存储行对齐误差和视差误差之间的对应关系，

其中，所述确定单元750被配置为：

调用所存储的行对齐误差和视差误差之间的对应关系；

在一种可能的实现方式中，所述处理单元被配置为：

以多个音圈马达VCM值来驱动所述主摄像元件和所述副摄像元件以对验证模板进行多次拍摄，从而生成多组验证图像，其中每组验证图像包括主验证图像和副验证图像；

根据多组标定参数对所述多组验证图像进行校正，以生成多组校正验证图像，其中每组校正验证图像包括主校正验证图像和副校正验证图像；

根据参照组校正验证图像中的主校正验证图像的角点的图像坐标和副校正验证图像的角点的图像坐标来计算深度信息，其中所述参照组校正验证图像是所述多组校正验证图像中的在拍摄时所使用的VCM值与在校正时所使用的标定参数所对应的VCM值一致的一组校正验证图像；

根据其它组校正验证图像中的各组校正验证图像中的主校正验证图像的角点的图像坐标、拍摄该组校正验证图像时所使用的焦距、拍摄该组校正验证图像时所使用的所述主摄像元件和所述副摄像元件之间的平移值、以及所述深度信息，计算该组校正验证图像中的副校正验证图像的角点的期望坐标，其中所述其它组校正验证图像是所述多组校正验证图像中除所述参照组校正验证图像以外的校正验证图像；

根据所述其它组校正验证图像中的各组校正验证图像中的副校正验证图像的角点的期望坐标及其齐次坐标，计算行对齐误差和视差误差之间的对应关系；

存储所计算出的行对齐误差和视差误差之间的对应关系。

在一种可能的实现方式中，对所述主图像和所述副图像进行校正所使用的标定参数是所述摄像设备的标定参数中的与当前拍摄场景的音圈马达VCM值最接近的VCM值所对应的标定参数。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种用于图像处理装置的硬件结构框图。参照图8，该装置900可包括处理器901、存储有机器可执行指令的机器可读存储介质902。处理器901与机器可读存储介质902可经由系统总线903通信。并且，处理器901通过读取机器可读存储介质902中与图像处理逻辑对应的机器可执行指令以执行上文所述的图像处理方法。

本文中提到的机器可读存储介质902可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种图像处理方法，应用于包括主摄像元件和副摄像元件的摄像设备，其特征在于，包括：

根据标定参数对经由所述主摄像元件所拍摄的主图像和经由所述副摄像元件所拍摄的副图像进行校正，以生成主校正图像和副校正图像；

获取所述主校正图像和所述副校正图像之间的行对齐误差；

根据所述行对齐误差确定所述主校正图像和所述副校正图像之间的视差误差；

根据所述行对齐误差和所述视差误差对所述副校正图像进行校正。

2.根据权利要求1所述的图像处理方法，其特征在于，获取所述主校正图像和所述副校正图像之间的行对齐误差，包括：

3.根据权利要求2所述的图像处理方法，其特征在于，根据所述匹配点对和行对齐约束获取所述行对齐误差，包括：

将所述匹配点对划分为可靠匹配点对和非可靠匹配点对；

4.根据权利要求2所述的图像处理方法，其特征在于，根据所述主校正图像的特征信息获取所述主校正图像的主特征点，包括：

5.根据权利要求1所述的图像处理方法，其特征在于，还包括：

计算并存储行对齐误差和视差误差之间的对应关系，

其中，根据所述行对齐误差确定所述主校正图像和所述副校正图像之间的视差误差，包括：

调用所存储的行对齐误差和视差误差之间的对应关系；

6.根据权利要求5所述的图像处理方法，其特征在于，计算并存储行对齐误差和视差误差之间的对应关系，包括：

存储所计算出的行对齐误差和视差误差之间的对应关系。

7.根据权利要求1至6中任一项所述的图像处理方法，其特征在于，对所述主图像和所述副图像进行校正所使用的标定参数是所述摄像设备的标定参数中的与当前拍摄场景的音圈马达VCM值最接近的VCM值所对应的标定参数。

8.一种图像处理装置，应用于包括主摄像元件和副摄像元件的摄像设备，其特征在于，包括：

第一校正单元，用于根据标定参数对经由所述主摄像元件所拍摄的主图像和经由所述副摄像元件所拍摄的副图像进行校正，以生成主校正图像和副校正图像；

获取单元，用于获取所述主校正图像和所述副校正图像之间的行对齐误差；

确定单元，用于根据所述行对齐误差确定所述主校正图像和所述副校正图像之间的视差误差；

第二校正单元，用于根据所述行对齐误差和所述视差误差对所述副校正图像进行校正。

9.根据权利要求8所述的图像处理装置，其特征在于，所述获取单元被配置为：

10.根据权利要求9所述的图像处理装置，其特征在于，根据所述匹配点对和行对齐约束获取所述行对齐误差，包括：

将所述匹配点对划分为可靠匹配点对和非可靠匹配点对；

11.根据权利要求9所述的图像处理装置，其特征在于，根据所述主校正图像的特征信息获取所述主校正图像的主特征点，包括：

12.根据权利要求8所述的图像处理装置，其特征在于，还包括：

处理单元，用于计算并存储行对齐误差和视差误差之间的对应关系，

其中，所述确定单元被配置为：

调用所存储的行对齐误差和视差误差之间的对应关系；

13.根据权利要求12所述的图像处理装置，其特征在于，所述处理单元被配置为：

存储所计算出的行对齐误差和视差误差之间的对应关系。

14.根据权利要求8至13中任一项所述的图像处理装置，其特征在于，对所述主图像和所述副图像进行校正所使用的标定参数是所述摄像设备的标定参数中的与当前拍摄场景的音圈马达VCM值最接近的VCM值所对应的标定参数。