CN111432117B - 图像矫正方法、装置和电子系统 - Google Patents

图像矫正方法、装置和电子系统 Download PDF

Info

Publication number
CN111432117B
CN111432117B CN202010210388.3A CN202010210388A CN111432117B CN 111432117 B CN111432117 B CN 111432117B CN 202010210388 A CN202010210388 A CN 202010210388A CN 111432117 B CN111432117 B CN 111432117B
Authority
CN
China
Prior art keywords
image
camera
rotation
parameters
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010210388.3A
Other languages
English (en)
Other versions
CN111432117A (zh
Inventor
杨露
胡刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010210388.3A priority Critical patent/CN111432117B/zh
Publication of CN111432117A publication Critical patent/CN111432117A/zh
Application granted granted Critical
Publication of CN111432117B publication Critical patent/CN111432117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种图像矫正方法、装置和电子系统，通过非同轴设置的主摄像机和副摄像机，获取针对同一拍摄目标的第一图像和第二图像；根据上述主副摄像机的基距，确定主副摄像机的旋转参数；根据旋转参数和主摄像机的摄像参数，对第一图像进行矫正，根据旋转参数、以及主副摄像机的摄像参数，对第二图像进行矫正，得到对应的竖直或水平方向上的视差为零的第一矫正图像和第二矫正图像。该方式中，对非同轴的第一图像和第二图像，通过上述旋转参数可以将第一图像和第二图像旋转至同轴，然后，对于第二图像，以旋转至同轴的第一图像为准，对第二图像进行矫正，提高了图像矫正的运算效率，同时提高了图像矫正结果的准确度以及稳定性。

Description

图像矫正方法、装置和电子系统
技术领域
本发明涉及图像矫正算法技术领域，尤其是涉及一种图像矫正方法、装置和电子系统。
背景技术
图像立体矫正，是指两幅图像分别进行一次平面射影变换，使两幅图像的对极线在同一水平方向上，而对极点被映射到无穷远处，这样可以使两幅图像只存在水平方向上的视差，从而使立体匹配问题从二维降到一维，提高匹配速度。
相关技术中，可以采用多种方式实现图像立体矫正，例如，可以将两幅图像重投影到同一平面上以得到矫正图像；还可以将两幅图像重投影到共同的圆柱面上以得到矫正图像；或者还可以通过射影变换和放射变换实现图像矫正；但是这些方式或者计算复杂运算效率低，或者矫正结果稳定性较差，难以实际应用于如手机等终端设备这种既要求运算高效、又要求矫正结果准确稳定的场景。
发明内容
本发明的目的在于提供一种图像矫正方法、装置和电子系统，以提高图像矫正的运算效率，同时提高图像校正结果的准确度和稳定性。
第一方面，本发明实施例提供了一种图像矫正方法，该包括：获取针对同一拍摄目标的第一图像和第二图像；其中，采集第一图像的主摄像机与采集第二图像的副摄像机非同轴设置；根据主摄像机与副摄像机的基距，确定主摄像机与副摄像机的相机坐标系的旋转参数；其中，旋转参数用于调整第一图像和第二图像，以使调整后的第一图像和第二图像对应的相机坐标系为同轴关系；根据旋转参数和主摄像机摄像参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像；根据旋转参数、以及主摄像机和副摄像机的摄像参数，对第二图像进行矫正，得到第二图像对应的第二矫正图像；其中，第一矫正图像与第二矫正图像在竖直方向或水平方向上的视差为零。
进一步的，根据主摄像机与副摄像机的基距，确定主摄像机与副摄像机的相机坐标系的旋转参数的步骤，包括：获取主摄像机和副摄像机在水平方向上的第一基距，以及主摄像机和副摄像机在竖直方向上的第二基距；根据第一基距和第二基距，确定主摄像机与副摄像机的相机坐标系的旋转参数。
进一步的，根据第一基距和第二基距，确定主摄像机与副摄像机的相机坐标系的旋转参数的步骤，包括：主摄像机与副摄像机的相机坐标系的旋转参数Rn：
Figure BDA0002422239730000021
其中，angle＝-atan(ty/tx)；atan代表反正切函数；tx为第一基距；ty为第二基距。
进一步的，根据旋转参数和主摄像机的摄像参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像的步骤，包括：根据旋转参数和主摄像机的内参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像。
进一步的，根据旋转参数和主摄像机的内参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像的步骤，包括：第一图像对应的第一矫正图像
Figure BDA0002422239730000031
其中，UL为第一图像；UnL为第一图像对应的第一矫正图像；KL为主摄像机的内参数；
Figure BDA0002422239730000032
为主摄像机的内参数矩阵的逆矩阵；Rn为旋转参数。
进一步的，根据旋转参数、以及主摄像机和副摄像机的摄像参数，对第二图像进行矫正，得到第二图像对应的第二矫正图像的步骤，包括：根据旋转参数、主摄像机的内参数，以及副摄像机的内参数和旋转矩阵，对第二图像进行矫正，得到第二图像对应的第二矫正图像。
进一步的，根据旋转参数、主摄像机的内参数，以及副摄像机的内参数和旋转矩阵，对第二图像进行矫正，得到第二图像对应的第二矫正图像的步骤，包括：第二图像对应的第二矫正图像
Figure BDA0002422239730000033
其中，UR为第二图像；UnR为第二图像对应的第二矫正图像；KL为主摄像机的内参数；Rn为旋转参数；R为副摄像机的旋转矩阵；R-1为副摄像机的旋转矩阵的逆矩阵；KR为副摄像机的内参数；
Figure BDA0002422239730000034
为副摄像机的内参数矩阵的逆矩阵。
进一步的，根据旋转参数和主摄像机的摄像参数，对第一图像进行矫正的步骤之前，该方法还包括：基于预设的目标函数，以及预设的参数调整范围，调整旋转参数和副摄像机的摄像参数。
进一步的，基于预设的目标函数，以及预设的参数调整范围，调整旋转参数和副摄像机的摄像参数的步骤，包括：从第一图像和第二图像中提取特征点对：其中，特征点对包括第一图像中的第一特征点和第二图像中的第二特征点；第一特征点和第二特征点对应相同的世界坐标；设置目标函数，以使第一特征点的矫正点与第二特征点的矫正点的纵坐标的差值最小；其中，第一特征点的矫正点，通过下述方式得到：根据主摄像机的摄像参数和调整后的旋转参数，矫正第一特征点，得到第一特征点的矫正点；第二特征点的矫正点通过下述方式得到：根据主摄像机的摄像参数、调整后的旋转参数、以及调整后的副摄像机的摄像参数，矫正第二特征点，得到第二特征点的矫正点；基于目标函数，以及预设的参数调整范围，调整旋转参数和副摄像机的摄像参数。
进一步的，设置目标函数，以使第一特征点的矫正点与第二特征点的矫正点的纵坐标的差值最小的步骤，包括：如果特征点对包括多对，针对每对特征点对，计算该特征点对中第一特征点的矫正点与第二特征点的矫正点的纵坐标差值；设置目标函数，以使多对特征点对对应的纵坐标差值之和最小。
进一步的，基于目标函数，以及预设的参数调整范围，调整旋转参数和副摄像机的摄像参数的步骤，包括：基于目标函数，执行下述操作：在主摄像机和副摄像机水平方向上的第一基距的第一预设调整范围内，调整第一基距；在主摄像机和副摄像机竖直方向上的第二基距的第二预设调整范围内，调整第二基距；通过调整后的第一基距和第二基距，确定调整后的旋转参数；在副摄像机的旋转角度的预设调整范围之内，调整副摄像机的旋转角度；通过调整后的旋转角度，确定调整后的副摄像机的旋转矩阵；在副摄像机的内参数中的焦距的预设调整范围之内，调整副摄像机的内参数中的焦距；在副摄像机的内参数中的主点位置的预设调整范围之内，调整副摄像机的内参数中的主点位置；其中，主点为副摄像机的光轴与第二图像平面的交点。
第二方面，本发明实施例提供了一种图像矫正装置，包括：图像获取模块，用于获取针对同一拍摄目标的第一图像和第二图像；其中，采集第一图像的主摄像机与采集第二图像的副摄像机非同轴设置；旋转参数确定模块，用于根据主摄像机与副摄像机的基距，确定主摄像机与副摄像机的相机坐标系的旋转参数；其中，旋转参数用于调整第一图像和第二图像，以使调整后的第一图像和第二图像对应的相机坐标系为同轴关系；第一图像矫正模块，用于根据旋转参数主摄像机的摄像参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像；第二图像矫正模块，用于根据旋转参数、以及主摄像机和副摄像机的摄像参数，对第二图像进行矫正，得到第二图像对应的第二矫正图像；其中，第一矫正图像与第二矫正图像在竖直方向或水平方向上的视差为零。
第三方面，本发明实施例提供了一种电子系统，该电子系统包括：处理设备和存储装置；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如第一方面任一实施方式的图像矫正方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如第一方面任一实施方式的图像矫正方法的步骤。
本发明实施例提供了一种图像矫正方法、装置和电子系统，通过非同轴设置的主摄像机和副摄像机，获取针对同一拍摄目标的第一图像和第二图像；根据主摄像机与副摄像机的基距，确定主摄像机与副摄像机的相机坐标系的旋转参数；根据旋转参数和主摄像机的摄像参数，对第一图像进行矫正，根据旋转参数、以及主摄像机和副摄像机的摄像参数，对所述第二图像进行矫正，得到对应的第一矫正图像和第二矫正图像，以使第一矫正图像和第二矫正图像在竖直方向或水平方向上的视差为零。该方式中，对非同轴的第一图像和第二图像，通过上述旋转参数可以将第一图像和第二图像旋转至同轴，然后，对于第二图像，以旋转至同轴的第一图像为准，对第二图像进行矫正；相对于同时对两个图像进行矫正的方式，该方式提高了图像矫正的运算效率，同时提高了图像矫正结果的准确度以及稳定性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像立体矫正的结构示意图；
图2为本发明实施例提供的一种图像立体矫正的简易模型；
图3为本发明实施例提供的一种电子系统的结构示意图；
图4为本发明实施例提供的一种图像矫正方法的流程图；
图5为本发明实施例提供的另一种图像矫正方法的流程图；
图6为本发明实施例提供的一种摄像机的非同轴示意图；
图7为本发明实施例提供的一种摄像机旋转至同轴的示意图；
图8为本发明实施例提供的另一种图像矫正方法的流程图；
图9为本发明实施例提供的一种图像矫正前的图像示意图；
图10为本发明实施例提供的一种图像矫正后的图像示意图；
图11为本发明实施例提供的另一种图像矫正方法的流程图；
图12为本发明实施例提供的一种参数的调整方法的流程图；
图13为本发明实施例提供的一种图像矫正装置的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，图像立体矫正可以将立体匹配搜索从二维降到一维，即图像满足行对齐约束；在实际应用中，无论是摄像头加工精度，还是模组安装要求，都不能做到绝对的行对齐，因此，需要通过算法实现主副摄像机的行对齐。具体的，如图1所示的图像立体矫正的示意图，其中，cl和cr分别为左右两个相机的光心，πl和πr分别为左右两个相机所成的图像，w为三维空间中的一点，经过透视投影，ml和mr分别为左右相机所成图像中的像点，el和er分别为左右相机光心连线与左右两幅图像的交点，也可以称为对极点；ml与el的连线、mr与er的连线可以称为对极线，对应图中的epipolar line。经过图像立体矫正，使πl和πr两个图像平面分别变换为πvl和πvr两个新的虚拟图像平面，对应图中的virtual parallelplane；此时，三维空间点w在左相机的虚拟图像中的图像坐标为
Figure BDA0002422239730000071
在右相机的虚拟图像中的图像坐标为
Figure BDA0002422239730000072
经过图像立体矫正，最终使得
Figure BDA0002422239730000073
与
Figure BDA0002422239730000074
的纵坐标相同，完成图像的立体矫正。
上述图像矫正过程可以是基于相同的三维空间，将原摄像机按一定关系改变姿态，使得新得到的两个相机处于在固定基距上的同一姿态。因此可以将图1中所示立体校正模型简化为图2所示的图像立体矫正的简易模型。图2的(a)部分是左右两个相机的原始姿态，经过立体矫正，参考图2的(b)部分，使得左右相机在同一水平位置上且姿态相同，光轴平行。目前，有许多算法可以进行图像矫正，其中，圆柱形的投影算法，即将图像投影到一个共同的圆柱面上，但是该算法计算复杂；另外，可以将图像校正过程分为射影变换和放射变换两个部分，但是射影变换需要非线性求解，不能保证其稳定性。
另外，在手机双摄实际应用过程中，手机双摄模组在模组厂标定后能达到较高精度，但是安装在手机上后却不理想。一方面是由于手机安装或外来因素的压迫，使得手机双摄位置发生了变化；另一方面是手机摄像头采用的是可对焦镜头，在不同位置点击手机屏幕，会对应不同焦距，若此时依然使用原标定数据处理，最终会降低矫正结果的精确度。
通常，为了得到较好的立体矫正效果，在拍摄原始图像时，会尽量使主副摄像机处在同一水平位置，并且保持相同位姿。但也不排除一些特殊情况，比如，手机上的摄像头越来越多，摄像头的排列也不再局限于同一水平方向或同一竖直方向上。当两个摄像头在水平方向和竖直方向上均存在一定基距时，立体矫正的方法将更为复杂。
基于此，本发明实施例提供了一种图像校正方法、装置和电子系统，该技术可以应用于安防设备、计算机、手机、摄像机、平板电脑、车辆终端设备等多种带有摄像机的设备中，该技术可以采用关软件和硬件实现，下面通过实施例进行描述。
实施例一：
首先，参照图3来描述用于实现本发明实施例的图像矫正方法、装置和电子系统的示例电子系统100。
如图3所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108，另外可以包括一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图3所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。
处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统100中的其它组件的数据进行处理，还可以控制电子系统100中的其它组件以执行期望的功能。
存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。
输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
图像采集设备110可以采集预览视频帧或图片数据(如待矫正图片或识别图片)，并且将采集到的预览视频帧或图像数据存储在存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的图像矫正方法、装置和电子系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图片的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端、摄像机等智能终端。
实施例二：
本实施例提供了一种图像矫正方法，如图4所示，该方法包括如下步骤：
步骤S402，获取针对同一拍摄目标的第一图像和第二图像；其中，采集第一图像的主摄像机与采集第二图像的副摄像机非同轴设置；
上述针对同一拍摄目标的第一图像和第二图像可以是摄像机针对同一目标拍摄的原始图像，具体的，第一图像可以通过主摄像机采集得到，第二图像可以通过副摄像机采集得到；该第一图像和第二图像的中心点可以在不同水平线上，其中，第一图像和第二图像的内容可以是相同的，即第一图像和第二图像中包含有相同的拍摄目标，该拍摄目标可以为人物、物品、风景等；但由于主摄像机和副摄像机的镜头所能覆盖的范围不同，因此第一图像和第二图像的视场角不同，比如，第一图像的视场角较小，第二图像的视场角较大，使得第一图像与第二图像不在同一个水平方向或者竖直方向上。上述非同轴设置可以是指主摄像机与副摄像机处在不同水平方向上，同时还处在不同竖直方向上。
需要说明的是，上述主摄像机也可以称为第一摄像装置，副摄像机也可以称为第二摄像装置。
步骤S404，根据主摄像机与副摄像机的基距，确定主摄像机与副摄像机的相机坐标系的旋转参数；其中，旋转参数用于调整第一图像和第二图像，以使调整后的第一图像和第二图像对应的相机坐标系为同轴关系；
上述主摄像机与副摄像机的基距可以包括水平基距和竖直基距，其中，水平基距可以是主摄像机的光心与副摄像机的光心在水平方向的距离，竖直基距可以是主摄像机的光心与副摄像机的光心在竖直方向的距离。上述主摄像机与副摄像机的相机坐标系包括调整前的主副摄像机的相机坐标系，和调整后的主副摄像机的相机坐标系；其中，调整前的主副摄像机的相机坐标系可以是以主摄像机的光心为坐标轴原点，水平方向为x轴，竖直方向为Y轴；也可以是以副摄像机的光心为坐标轴原点，水平方向为x轴，竖直方向为y轴；比如，参见图6所示的摄像机的非同轴示意图，左侧方块为主摄像机，右侧方块为副摄像机，以副摄像机的光心为坐标轴原点，水平方向为x轴，x轴正方向向右，竖直方向为y轴，y轴正方向向下。调整后的主副摄像机的相机坐标系，可以以主摄像机的光心为坐标轴原点，主副摄像机的光心连线为x轴，过原点且垂直与x轴的直线为y轴；也可以以副摄像机的光心为坐标轴原点，主副摄像机的光心连线为x轴，过原点且垂直与x轴的直线为y轴；比如，参见图7所示的摄像机旋转至同轴的示意图，图中的虚线表示调整后的主副摄像机的相机坐标系，以右侧副摄像机的光心为坐标轴原点，主副摄像机的光心连线为x轴，x轴正方向向右，过原点且垂直与x轴的直线为y轴，y轴正方向向下。
具体的，可以将基距转化为主摄像机与副摄像机之间的角度，通过三角函数的方式，可以确定多个参数值，通过该多个参数值可以确定一个旋转矩阵，该旋转矩阵可以是3×3的矩阵；根据确定的旋转矩阵，以及第一图像和第二图像的像素坐标，通过预设的运算方式，比如旋转、平移等，对第一图像和第二图像进行调整，使得调整后的第一图像对应的主摄像机与第二图像对应副摄像机，在调整后的相机在坐标系中为同轴设置，可以是在同一水平方向上，也可以是在同一竖直方向上。
步骤S406，根据旋转参数和主摄像机的摄像参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像；
上述旋转参数为步骤S404确定的旋转参数，上述主摄像机的摄像参数可以包括内参数和外参数，其中，内参数由摄像机本身决定，只与摄像机本身有关，其内参数可以有：参数矩阵和畸变系数；外参数由摄像机与世界坐标系的相对位姿关系决定，其外参数可以有：旋转向量和平移向量。具体的，可以根据旋转参数和主摄像机的摄像参数，构建第一图像矫正模型，对该矫正模型中的旋转参数进行动态矫正，根据矫正后的旋转参数，以及主摄像装置的摄像参数，比如，主摄像装置的内参数KL等，对第一图像进行矫正，得到第一图像对应的第一矫正图像。
步骤S408，根据旋转参数、以及主摄像机和副摄像机的摄像参数，对第二图像进行矫正，得到第二图像对应的第二矫正图像；其中，第一矫正图像与第二矫正图像在竖直方向或水平方向上的视差为零。
与前述步骤S406中主摄像机的摄像参数的相同，上述主摄像机和副摄像机的摄像参数可以包括内参数和外参数，其中，内参数由摄像机本身决定，只与摄像机本身有关，其内参数可以有：参数矩阵和畸变系数；外参数由摄像机与世界坐标系的相对位姿关系决定，其外参数可以有：旋转向量和平移向量。具体的，可以根据旋转参数、主摄像机和副摄像机的摄像参数，构建第二图像矫正模型，对该模型中可能发生变化的参数进行动态矫正，根据矫正后的参数，比如，旋转参数、副摄像机的内参数、旋转矩阵等，对第二图像进行矫正，得到第二图像对应的第二矫正图像。使得前述步骤S406得到的第一矫正图像与第二矫正图像在竖直方向或水平方向上的视差为零，比如，在同一三维空间中，第二矫正图像与第一矫正图像仅存在水平方向上的差异，竖直方向上的坐标一致；或者第二矫正图像与第一矫正图像仅存在竖直方向上的差异，水平方向上的坐标一致。
本发明实施例提供了一种图像矫正方法，通过非同轴设置的主摄像机和副摄像机，获取针对同一拍摄目标的第一图像和第二图像；根据主摄像机与副摄像机的基距，确定主摄像机与副摄像机的相机坐标系的旋转参数；根据旋转参数和主摄像机的摄像参数，对第一图像进行矫正，根据旋转参数、以及主摄像机和副摄像机的摄像参数，对所述第二图像进行矫正，得到对应的第一矫正图像和第二矫正图像，以使第一矫正图像和第二矫正图像在竖直方向或水平方向上的视差为零。该方式中，对非同轴的第一图像和第二图像，通过上述旋转参数可以将第一图像和第二图像旋转至同轴，然后，对于第二图像，以旋转至同轴的第一图像为准，对第二图像进行矫正；相对于同时对两个图像进行矫正的方式，该方式提高了图像矫正的运算效率，同时提高了图像矫正结果的准确度以及稳定性。
实施例三：
本实施例提供了另一种图像矫正方法，该方法在上述实施例的基础上实现。本实施例重点描述根据主摄像机与副摄像机的基距，确定主摄像机与副摄像机的相机坐标系的旋转参数的步骤的具体实现过程(通过步骤S504-S506实现)，如图5所示，该方法包括如下步骤：
步骤S502，获取针对同一拍摄目标的第一图像和第二图像；其中，采集第一图像的主摄像机与采集第二图像的副摄像机非同轴设置；
步骤S504，获取主摄像机和副摄像机在水平方向上的第一基距，以及主摄像机和副摄像机在竖直方向上的第二基距；
参见图6所示的摄像机的非同轴示意图，图中左侧摄像机表示主摄像机，右侧摄像机表示副摄像机，CL表示主摄像机的光心，CR表示副摄像机的光心；本实施例以副摄像机的光心为原点，设置相机坐标系，以确定主摄像机和副摄像机的基距。图中ty为主摄像机的光心与副摄像机的光心在水平方向上的距离，该距离表示主摄像机和副摄像机在水平方向上的第一基距；图中tx为主摄像机的光心与副摄像机的光心在竖直方向上的距离，该距离表示主摄像机和副摄像机在竖直方向上的第二基距。
需要说明的是，第一装置与第二装置的相机坐标系，不仅限于图6所示的相机坐标系，也可以以主摄像机的光心为原点，设置相机坐标系，另外，x轴与y轴的方向也可以有不同的设置。
步骤S506，根据第一基距和第二基距，确定主摄像机与副摄像机的相机坐标系的旋转参数；
具体的，可以通过正切函数将基距转化为主摄像机与副摄像机之间的角度，将该角度计算其正弦和余弦值，可以确定多个参数值，将该多个参数值根据主摄像机与副摄像机的位置，可以在相机坐标系中确定一个旋转矩阵，该旋转矩阵可以是3×3的矩阵。
针对上述步骤S506，根据第一基距和第二基距，确定主摄像机与副摄像机的相机坐标系的旋转参数的步骤，包括：主摄像机与副摄像机的相机坐标系的旋转参数Rn：
Figure BDA0002422239730000141
其中，angle＝-atan(ty/tx)；atan代表反正切函数；tx为第一基距；ty为第二基距。
通过上述旋转参数Rn可以将主摄像机与副摄像机调整为同轴的位置；具体的，参见图7所示的摄像机旋转至同轴的示意图，在实现非同轴的摄像机转至同轴的过程中，左右摄像机的相机坐标系都发生了相同程度的旋转，比如，旋转前图6中的x和y轴都旋转至图7新的位置，该旋转矩阵即为Rn，也可以称为同轴旋转矩阵。此时以副摄像机的光心为原点，以主摄像机与副摄像机光心的连线为新的x轴，建立一个新的坐标系，在该坐标系中，主摄像机与副摄像机处于同轴关系，即主摄像机与副摄像机只存在水平方向的基距，如图7所示，该基距可以表示为Tx，且满足Tx＝tx 2+ty 2。
步骤S508，根据旋转参数和主摄像机的摄像参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像；
步骤S510，根据旋转参数、以及主摄像机和副摄像机的摄像参数，对第二图像进行矫正，得到第二图像对应的第二矫正图像；其中，第一矫正图像与第二矫正图像在竖直方向或水平方向上的视差为零。
本实施例提供的一种图像矫正方法，由于主摄像机与副摄像机为非同轴设置，此时主副摄像机在水平方向和竖直方向上均存在一定基距，此时立体矫正的方法将更为复杂；本实施例中，根据主摄像机和副摄像机在水平方向上的第一基距，以及主摄像机和副摄像机在竖直方向上的第二基距，通过预设的运算方式，确定主摄像机与副摄像机的相机坐标系的旋转参数，以设置主摄像机与副摄像机为同轴位置，降低了图像矫正方法的复杂度，提高了图像矫正的运算效率，同时提高了图像矫正结果的准确度以及稳定性。
实施例四：
本实施例提供了另一种图像矫正方法，该方法在上述实施例的基础上实现。本实施例重点描述根据旋转参数和主摄像机的摄像参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像的步骤的具体实现过程(通过步骤S808实现)；以及根据旋转参数、以及主摄像机和副摄像机的摄像参数，对第二图像进行矫正，得到第二图像对应的第二矫正图像的步骤的具体实现过程(通过步骤S810实现)，如图8所示，该方法包括如下步骤：
步骤S802，获取针对同一拍摄目标的第一图像和第二图像；其中，采集第一图像的主摄像机与采集第二图像的副摄像机非同轴设置；
步骤S804，获取主摄像机和副摄像机在水平方向上的第一基距，以及主摄像机和副摄像机在竖直方向上的第二基距；
步骤S806，根据第一基距和第二基距，确定主摄像机与副摄像机的相机坐标系的旋转参数；
步骤S808，根据旋转参数和主摄像机的内参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像；
上述主摄像机的内参数可以是3×3矩阵，具体的，可以利用优化算法，例如，Levenberg-Marquardt算法等，设置目标函数，对旋转参数和主摄像机的内参数进行优化，得到矫正后的旋转参数、主摄像机的内参数，并将其代入预先构建的第一图像矫正模型，对第一图像进行矫正，得到第一图像对应的第一矫正图像。
步骤S810，根据旋转参数、主摄像机的内参数，以及副摄像机的内参数和旋转矩阵，对第二图像进行矫正，得到第二图像对应的第二矫正图像。
上述副摄像机的旋转矩阵也可以是3×3矩阵。具体的，可以利用优化算法，例如，Levenberg-Marquardt算法等，设置目标函数，对旋转参数、副摄像机的内参数、以及旋转矩阵进行优化，得到矫正后的旋转参数、副摄像机的内参数、以及旋转矩阵，并将其代入预先构建的第二图像矫正模型，对第二图像进行矫正，得到第二图像对应的第二矫正图像。
针对上述步骤S808，根据旋转参数和主摄像机的内参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像的步骤，包括：第一图像对应的第一矫正图像
Figure BDA0002422239730000161
其中，UL为第一图像；UnL为第一图像对应的第一矫正图像；KL为主摄像机的内参数；
Figure BDA0002422239730000162
为主摄像机的内参数矩阵的逆矩阵；Rn为旋转参数。
针对上述步骤S810，根据旋转参数、主摄像机的内参数，以及副摄像机的内参数和旋转矩阵，对第二图像进行矫正，得到第二图像对应的第二矫正图像的步骤，包括：第二图像对应的第二矫正图像
Figure BDA0002422239730000163
其中，UR为第二图像；UnR为第二图像对应的第二矫正图像；KL为主摄像机的内参数；Rn为旋转参数；R为副摄像机的旋转矩阵；R-1为副摄像机的旋转矩阵的逆矩阵；KR为副摄像机的内参数；
Figure BDA0002422239730000164
为副摄像机的内参数矩阵的逆矩阵。
上述第一图像对应的第一矫正图像
Figure BDA0002422239730000165
第二图像对应的第二矫正图像
Figure BDA0002422239730000166
可以通过以下方式推导：
摄像机成像模型中，可以利用透视投影矩阵P表示摄像机模型：
P＝K[R T] (1)
上式中，R为单目摄像机的旋转矩阵；T为单目摄像机的平移矢量；K为单目摄像机的内参数。其中，旋转矩阵R和平移向量T，共同描述了如何把点从世界坐标系转换到摄像机坐标系，旋转矩阵描述了世界坐标系的坐标轴相对于摄像机坐标轴的方向，平移失量描述了在摄像机坐标系下空间原点的位置。
上述K为3×3矩阵、R为3×3矩阵、T为3×1矩阵，通过式(1)，可以得到：
Figure BDA0002422239730000171
式(2)中P0＝K×R为3×3矩阵，p＝K×T为3×1列向量。
则图像中任意一点的像素坐标(u,v)和其对应的世界坐标w可以表示为：
Figure BDA0002422239730000172
式(3)中，当分母为
Figure BDA0002422239730000173
时，表示焦平面。当平面
Figure BDA0002422239730000174
时，该平面和图像平面的交线是图像平面的纵轴。当平面
Figure BDA0002422239730000175
时，该平面和图像平面的交线是图像平面的横轴。其中，焦平面、与图像平面的交线是纵轴的平面、以及与图像平面的交线是横轴的平面，这三个平面的交点为光心坐标C，即：
Figure BDA0002422239730000176
将上式P＝[P0|p]，代入式(4)中，可以得到C＝-P0 -1p；
根据C＝-P0 -1p和P＝[P0|p]，可以得到P＝[Po|-PoC]；
根据空间成像关系U＝Pw，将该关系代入P＝[Po|-PoC]可以得到，
Figure BDA0002422239730000178
该式描述的是各个世界坐标w与图像中各个像素坐标的对应关系。
上述变换过程可以通过以下方式表示：
Figure BDA0002422239730000177
式(5)中，λ为比例因子，表示同一像素坐标对应的世界坐标在一条射线上，可以理解为，图像上的任意一个像素点与光心的连线，可以构成一条射线，该射线上的任意一点都可以成像后落在该像素点处；U为图像点齐次坐标。
具体的，已知主摄像机和副摄像机经过标定得到投影矩阵PoL和PoR，将该主副摄像机绕着各自光心旋转，直到主副摄像机的焦平面共面时，得到两个新的摄像机；此时投影矩阵为PnL和PnR，基线CLCR包含在主摄像机和副摄像机的焦平面内，所有极线互相平行，在焦平面内建立一条新的x轴，使得x轴平行于基线CLCR，使得所有极线变为水平。因此，立体矫正后的主摄像机和副摄像机的内参数相同，像平面共面且平行于基线。
结合上述公式(5)的推导过程，将新投影矩阵PnL和PnR进行分解：
Figure BDA0002422239730000181
式(6)中，A为主副摄像机的内参数；CL为主摄像机的光心；CR为副摄像机的光心；其中，CL和CR可以通过式(4)计算得到，旋转矩阵R可以通过下式计算得到：
Figure BDA0002422239730000182
式(7)中，r1，r2和r3分别表示矫正后摄像机的新坐标系中的x、y、z轴。其中，r1，r2和r3可以通过以下方法得到：
新坐标系x轴平行于基线：
Figure BDA0002422239730000183
新坐标系y轴垂直于新坐标系x轴，且垂直于新坐标系x轴和原坐标系z轴组成的平面：
r2＝k∧r1 (9)
式(9)中，k表示原坐标系z轴方向的单位矢量。
新坐标系z轴垂直于新坐标系x轴和新坐标系y轴组成的平面：
r3＝r1∧r2 (10)
针对立体矫正后的主摄像机和副摄像机的空间成像关系可以表示为：
sUn＝Pnw (11)
式(11)中，s为比例系数；根据式(5)和式(6)可以得到：
Figure BDA0002422239730000191
式(12)中，小标0表示矫正前的参数、投影矩阵和图像坐标；小标n表示矫正后的参数、投影矩阵和图像坐标。根据式(12)可以得到，矫正后图像与原图像的变换关系。
具体的，根据式(12)可知，矫正前与矫正后图像之间关系与投影矩阵相关。假设，矫正前主摄像机内参数为KL、外参数旋转矩阵为RL、外参数平移矩阵为TL、第一图像坐标为UL；矫正前副摄像机内参数为KR、外参数旋转矩阵为RR、外参数平移矩阵为TR，第二图像坐标UR。假设矫正后主摄像机内参数为KnL、外参数旋转矩阵为RnL、外参数平移矩阵为TnL、第一图像坐标为UnL；矫正后副摄像机内参数为KnR、外参数旋转矩阵为RnR、外参数平移矩阵为TnR，第二图像坐标UnR，因此式(12)可以变换为：
Figure BDA0002422239730000192
由于可以以主摄像装置基准，使其保持不动，则有KnL＝TL，TnR＝TR，将上式(13)展开可以得到：
Figure BDA0002422239730000193
根据矫正后第一图像与第二图像平面共面、尺度一致等特征可以得到，矫正后主摄像机和副摄像机的参数有如下关系：
KnL＝KnR＝Kn
RnL＝RnR＝eye(3,3)
其中，eye(3，3)为3×3的单位矩阵。
由于λ为比例因子，表示焦距变化关系，因此可以省略，则式(14)可以简化为：
Figure BDA0002422239730000201
由于主摄像机和副摄像机为非同轴设置，首先可以根据前述确定的旋转参数Rn，先将主摄像机与副摄像机旋转至同轴位置，此时，主摄像机与副摄像机立体矫正关系如下：
Figure BDA0002422239730000202
当主摄像机与副摄像机旋转至同轴位置时，图像立体矫正模型可以进一步进行简化，可以以主摄像机为基准，保持主摄像机不动，仅移动副摄像机，最终使主副摄像机的光轴平行，第一图像和第二图像共面，使得矫正后的主副摄像机具有固定的基距，同时保持同一姿态。
具体的，通过上述方法进行图像矫正，首先将主副摄像机，通过旋转参数Rn进行同轴调整，调整至同轴后，在新相机坐标系中，主摄像机的外参数旋转矩阵为RnL与副摄像机的外参数旋转矩阵为RnR即为旋转参数Rn；另外，旋转至同轴位置后，在进行矫正时，由于主摄像机保持不动，其矫正前与矫正后的内参数也保持不变、主摄像机的旋转矩阵为单位矩阵，以使主摄像机在矫正后也保持不动，因此可以得到以下约束条件：
KnL＝KnR＝KL
RL＝eye(3,3)
RR＝R
RnL＝RnR＝Rn
其中，R为副摄像机的旋转矩阵，可以理解为副摄像机原相机坐标系向主摄像机的原相机坐标系旋转的旋转矩阵；Rn为使主摄像机和副摄像机转至同轴时，主副摄像机共同利用的同轴旋转矩阵。
根据上述约束条件，可以推导出满足条件的立体矫正模型：
Figure BDA0002422239730000211
式(17)中，UnL＝KLRnKL -1UL为第一图像对应的第一矫正图像；UnR＝KLRnR-1KR -1UR为第二图像对应的第二矫正图像。
具体的，根据式(17)，可以得到标定成功的主摄像机和副摄像机，且主摄像机和副摄像机在水平和竖直方向上的基距测量值准确，因此可以通过标定数据，即主摄像机和副摄像机的内参数KL、KR、副摄像机的旋转矩阵R、以及同轴旋转矩阵Rn代入式(17)得到映射矩阵，通过该映射矩阵对主摄像机和副摄像机对应的图像进行仿射变换，得到第一矫正图像和第二矫正图像。
但是，由于主摄像机通常为变焦相机，因此主摄像机和副摄像机每次拍摄的图像对的焦距有可能不一致；或者当摄像机标定成功后，在安装的过程中，由于会受到压迫、碰摔等情况，可能会造成双摄结构发生变化，或者安装完成后，在使用的过程中，由于摔碰和老化等问题，同样会造成双摄结构发生变化；或者由于主摄像机和副摄像机水平和竖直方向的基距测量不准确，导致同轴旋转矩阵Rn不准确。
上述变焦可以引起内参数的变化，双摄结构变化可以引起旋转矩阵的变化，主摄像机和副摄像机在水平和竖直方向上的基距测量不准确，会导致同轴旋转矩阵Rn不准确。因此同轴旋转矩阵、摄像装置的内参数、摄像装置的旋转矩阵包括的变量可写为：
Figure BDA0002422239730000221
式(18)中，KL为主摄像机的内参数矩阵；Rn(tx,ty)为主摄像机和副摄像机的同轴旋转矩阵，即旋转参数；第三项为主摄像机和副摄像机之间的旋转矩阵；第四项为副摄像机的内参数矩阵。
因此，在实际的图像矫正过程中，可以动态调整KL、Rn、R、KR参数，并将调整后的KL、Rn、R、KR参数代入式(17)，得到第一图像对应的第一矫正图像和第二图像对应的第二矫正图像，比如，参见图9和图10所示的矫正前后的图像示意图，其中，图9中(a)图像和图10中(a)图像为第一图像和第一矫正图像，图9中(b)图像和图10中(b)图像为第二图像和第二矫正图像，最终使得第一矫正图像与第二矫正图像实现行对齐，水平方向视差为零。
该方式中，在通过旋转参数，将主摄像机与副摄像机设置为同轴位置后，以主摄像机为基准，保持主摄像机不动，仅移动副摄像机，通过该方法，设置约束条件，得到简化的第一图像和第二图像矫正模型，通过该模型，可以使主摄像机和副摄像机共面，且使矫正后的主副摄像机处于在固定基距上的同一姿态，最终使得第一矫正图像与第二矫正图像实现行对齐。同Fusiello算法模型相比，本发明实施例的算法得到的模型不仅简单，提高了运算效率，同时提高了矫正结果的精确度以及稳定性。
实施例五：
本实施例提供了另一种图像矫正方法的流程图，该方法在上述实施例的基础上实现。本实施例重点描述根据旋转参数和主摄像机的摄像参数，对第一图像进行矫正的步骤之前的具体实现过程(通过步骤S1108实现)，如图11所示，该方法包括如下步骤：
步骤S1102，获取针对同一拍摄目标的第一图像和第二图像；其中，采集第一图像的主摄像机与采集第二图像的副摄像机非同轴设置；
步骤S1104，获取主摄像机和副摄像机在水平方向上的第一基距，以及主摄像机和副摄像机在竖直方向上的第二基距；
步骤S1106，根据第一基距和第二基距，确定主摄像机与副摄像机的相机坐标系的旋转参数；
步骤S1108，基于预设的目标函数，以及预设的参数调整范围，调整旋转参数和副摄像机的摄像参数；
上述预设的目标函数可以是以第一图像和第二图像的图像坐标对应相同像素点的纵坐标对齐，相同像素点的纵坐标其误差最小为目标；也可以以第一图像和第二图像的图像坐标对应相同像素点的横坐标对齐，相同像素点的横坐标误差最小为目标。由于待调整的旋转参数和副摄像机的摄像参数，通常在初始值附近变化，为了使调整后的结果更准确，可以针对待调整参数，根据主副摄像装置的实际位置，限定预设的参数调整范围；上述预设的参数可以是旋转参数Rn、副摄像机的旋转矩阵R、主摄像机的内参数KL、副摄像机的内参数KR；比如，可以根据初始值设置一个浮动值，使前述参数调整范围在该浮动值之间调整；通过预设的目标函数，在预设的参数的调整范围内，对副摄像机的摄像参数进行调整，以使最终确定的调整后的旋转参数和副摄像机的摄像参数，能够满足预设的目标函数。
针对上述基于预设的目标函数，以及预设的参数调整范围，调整旋转参数和副摄像机的摄像参数的步骤，参见图12所示的参数的调整方法流程图，该方法包括如下步骤：
步骤S1202，从第一图像和第二图像中提取特征点对；其中，特征点对包括第一图像中的第一特征点和第二图像中的第二特征点；第一特征点和第二特征点对应相同的世界坐标；
上述第一特征点和第二特征点可以是图像中具有代表性的部分，其中，特征点的信息可以包括：位置坐标、大小、方向等信息。由于摄像机可安放在环境中的任意位置，因此，在该环境中可以选择一个基准坐标系来描述摄像机的位置，并用该基准坐标系描述环境中任一物体的位置，该坐标系可以称为世界坐标系。另外，摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来进行描述。
具体的，可以通过特征点提取方法，例如，SIFT(Scale-Invariant FeaturesTransform，尺度不变特征变换)、SURF(Speeded Up Robust Features，加速稳健特征)等方法，提取第一图像的第一特征点和第二图像的第二特征点，可以通过特征点匹配方法例如，FLANN(Fast Library for Approximate Nearest Neighbors，快速最近邻搜索包)、SURF(Speeded Up Robust Features，加速稳健特征)、ORB(Oriented FAST and RotatedBRIEF，一种快速特征点提取和描述的算法)等匹配方法，得到第一图像与第二图像匹配的特征点对，其中，第一图像的第一特征点对应一个第二图像的第二特征点，其可以构成一个特征点对；最后，可以通过数据筛选方法，将多个特征点对中可靠的特征点对筛选出来。
步骤S1204，设置目标函数，以使第一特征点的矫正点与第二特征点的矫正点的纵坐标的差值最小；其中，第一特征点的矫正点，通过下述方式得到：根据主摄像机的摄像参数和调整后的旋转参数，矫正第一特征点，得到第一特征点的矫正点；第二特征点的矫正点通过下述方式得到：根据主摄像机的摄像参数、调整后的旋转参数、以及调整后的副摄像机的摄像参数，矫正第二特征点，得到第二特征点的矫正点；
根据上述式(17)的推导过程可以得到，图像矫正需要对旋转参数和副摄像机的摄像参数进行调整；因此，对于第一特征点，需要根据主摄像装置的内参数矩阵KL、该内参数矩阵的逆矩阵KL -1、以及调整后的旋转参数Rn，利用公式(17)中第一个公式的计算方式，旋转第一特征点的角度同时移动第一特征点的坐标，得到第一特征点的矫正点；另外，对于第二特征点，根据主摄像装置的内参数矩阵KL、调整后的旋转参数Rn、调整后的副摄像装置的旋转矩阵的逆矩阵R-1以及内参数矩阵的逆矩阵KR -1，利用公式(17)中第二个公式的计算方式，旋转第二特征点的角度同时移动第二特征点的坐标，得到第二特征点的矫正点；在实际实现中，可以将第二图像中的第二特征点的矫正点的纵坐标与第一特征点的矫正点的纵坐标的差值最小作为上述目标函数。
上述设置目标函数，以使第一特征点的矫正点与第二特征点的矫正点的纵坐标的差值最小的步骤，包括：
如果特征点对包括多对，针对每对特征点对，计算该特征点对中第一特征点的矫正点与第二特征点的矫正点的纵坐标差值；设置目标函数，以使多对特征点对应的纵坐标差值之和最小。
通过特征点的提取方法，可以提取图像中的多个特征点，包含图像的多部分特征，最终得到的特征点对可以包括多对。当主摄像机与副摄像机，通过旋转参数调整第一图像和第二图像，使得调整后的第一图像和第二图像对应的主副摄像机的相机坐标系在在同一水平位置上且姿态相同，光轴平行时，其对应的第一图像和第二图像，在水平方向的视差较大，因此，可以根据设置的目标函数，调整旋转参数以及副摄像装置的摄像参数，同时计算每对特征点对中第一特征点的矫正点与第二特征点的矫正点的纵坐标的差值，得到多个差值，将该多个差值相加，得到差值的和，通过调整旋转参数以及副摄像机的摄像参数，使得该差值之和最小，即第一图像与第二图像在水平方向视差接近为零。
另外，当主摄像机与副摄像机，通过旋转参数调整第一图像和第二图像，使得调整后的第一图像和第二图像对应的主副摄像机的相机坐标系在同一竖直位置上且姿态相同，光轴平行时，其对应的第一图像和第二图像，在竖直方向的视差较大，可以针对每对特征点对，计算该特征点对中第一特征点的矫正点与第二特征点的矫正点的横坐标差值；设置目标函数，以使多对特征点对应的横坐标差值之和最小；最终使得第一图像与第二图像在竖直方向视差为零。
步骤S1206，基于目标函数，以及预设的参数调整范围，调整旋转参数和副摄像机的摄像参数。
具体的，可以根据预设的参数调整范围，通过LM(Levenberg-Marquardt，莱文贝格－马夸特)优化方法，调整主摄像机和副摄像机在水平方向上的第一基距，以及主摄像机和副摄像机在竖直方向上的第二基距；同时调整第二图像中的第二特征点的纵坐标，使得第二图像中的第二特征点的纵坐标与第一特征点的纵坐标的差值最小，最终根据调整后的第一基距、第二基距以及第二图像中的第二特征点的纵坐标，调整旋转参数和副摄像机的摄像参数，最终达到目标函数的效果，即第一图像与第二图像在水平方向视差为零。
针对上述步骤S1206，基于目标函数，以及预设的参数调整范围，调整旋转参数和副摄像机的摄像参数的步骤，包括：基于目标函数，执行下述操作：
(1)在主摄像机和副摄像机水平方向上的第一基距的第一预设调整范围内，调整第一基距；在主摄像机和副摄像机竖直方向上的第二基距的第二预设调整范围内，调整第二基距；通过调整后的第一基距和第二基距，确定调整后的旋转参数；
由于待优化参数通常在初始值附近变化，为了使优化结果更准确，需对待优化参数限定变化范围；上述主摄像机与副摄像机的基距可以参见图6所示的摄像机的非同轴示意图，其中，主摄像机和副摄像机水平方向上的第一基距tx和主摄像机和副摄像机竖直方向上的第二基距ty，本实施例以第一基距的初始值为tx0，第二基距的初始值为ty0为例进行说明，第一基距的预设调整范围可以设置为Tx，第二基距的预设调整范围可以设置为Ty，因此，主摄像机与副摄像机的第一基距与第二基距的预设调整范围可以是[(tx0－Tx)，(tx0+Tx)]、[(ty0－Ty)，(ty0+Ty)]；比如，第一基距用tx表示，其初始值为tx0，则第一基距的变化范围是tx0－Tx到tx0+Tx；同样的，第二基距用ty表示，其初始值为ty0，则第二基距的变化范围是ty0－Ty到ty0+Ty；上述主摄像机与副摄像机的基距的变化范围可以通过以下方式表示：
Figure BDA0002422239730000271
具体的，基于目标函数，可以根据式(19)中第一基距tx和第二基距ty的调整范围，调整主摄像机与副摄像机的基距，根据调整的第一基距和第二基距，通过旋转参数Rn计算方式，利用反正切函数angle＝-a tan(ty/tx)计算主副摄像机之间的基距角度，通过三角函数计算该角度的正弦和余弦值，得到调整后的旋转参数，以使主摄像机与副摄像机，通过该旋转参数调整的第一图像和第二图像对应的主副摄像机的相机坐标系在水平方向或竖直方向同轴。
(2)在副摄像机的旋转角度的预设调整范围之内，调整副摄像机的旋转角度；通过调整后的旋转角度，确定调整后的副摄像机的旋转矩阵；
上述副摄像机的旋转矩阵可以等效转化为旋转角度，副摄像机的旋转角度的预设调整范围的浮动值可以设置为Tr，摄像机的旋转角度可以根据摄像机的坐标轴设置，分别包括x、y、z轴对应的旋转角度Rx、Ry、Rz；因此，针对每个旋转角度，根据预设调整范围，其可以调整的范围分别为[(Rx－Tr)，(Rx+Tr)]、[(Ry－Tr)，(Ry+Tr)]、[(Rz－Tr)，(Rz+Tr)]；比如，副摄像机的绕x轴的旋转角度α，α的初始值是Rx，则a的变化范围是Rx－Tr到Rx+Tr；第二摄像装置的绕y轴的旋转角度β，β的初始值是Ry，则β的变化范围是Ry－Tr到Ry+Tr；第二摄像装置的绕z轴的旋转角度γ，γ的初始值是Rz，则γ的变化范围是Rz－Tr到Rz+Tr。上述副摄像机的旋转角度的变化范围可以通过以下方式表示：
Figure BDA0002422239730000281
具体的，基于目标函数，可以根据上述每个旋转角度的调整的范围，调整副摄像机的旋转角度；通过旋转角度与旋转矩阵之间的等效转化方式，比如，罗德里格旋转公式，将调整后的副摄像机的旋转角度转化为旋转矩阵；以使第一图像与第二图像对应的矫正图像在竖直方向或水平方向上的视差为零。
(3)在副摄像机的内参数中的焦距的预设调整范围之内，调整副摄像机的内参数中的焦距；
由于焦距与倍率可以相互转换，因此上述副摄像机的内参数中的焦距，可以利用焦距的倍率表示，可以用s表示焦距的倍率，本实施例可以设置焦距倍率的初始值为1.0为例进行说明。上述副摄像机的内参数中的焦距的预设调整范围的浮动值可以设置为Ts，因此，副摄像机的内参数中的焦距s的预设调整范围可以为[(1.0－Ts)，(1.0+Ts)]；其中，1.0为s的初始值，焦距s的变化范围是1.0－Tr到1.0+Tr。上述副摄像机的内参数中的焦距的变化范围可以通过以下方式表示：
s∈[1.0-Ts,1.0+Ts] (21)
具体的，基于目标函数，可以根据式(21)中副摄像机的内参数中的焦距s的调整范围，调整副摄像机的内参数中的焦距；以使第一图像与第二图像对应的矫正图像在竖直方向或水平方向上的视差为零。
(4)在副摄像机的内参数中的主点位置的预设调整范围之内，调整副摄像机的内参数中的主点位置；其中，主点为副摄像机的光轴与第二图像平面的交点。
上述副摄像机的内参数中的主点位置可以是指副摄像机的光轴与第二图像平面的交点的坐标，可以用(u，v)表示；其中u表示主点位置的横坐标，v表示主点位置的纵坐标；本实施例可以以主点位置的横坐标的初始值为u0，纵坐标的初始值为v0为例进行说明；上述副摄像机的内参数中的主点位置的预设调整范围的横坐标浮动值可以设置为Tu，宗坐标浮动值可以设置为Tv，因此，副摄像机的内参数中的主点位置横纵标和纵坐标的预设调整范围可以是[(u0－Tu)，(u0+Tu)]、[(v0－Tv)，(v0+Tv)]；比如，副摄像机的内参数中的主点位置的横坐标用u表示，其初始值为u0，则主点横坐标的变化范围是u0－Tu到u0+Tu；同样的，副摄像机的内参数中的主点位置的纵坐标用v表示，其初始值为v0，则主点纵坐标的变化范围是v0－Tv到v0+Tv。上述副摄像机的内参数中的主点位置坐标的变化范围可以通过以下方式表示：
Figure BDA0002422239730000291
具体的，基于目标函数，可以根据式(22)中副摄像机的内参数中的主点位置的预设调整范围，调整副摄像机的内参数中的主点位置坐标；以使第一图像与第二图像对应的矫正图像在竖直方向或水平方向上的视差为零。
步骤S1110，根据旋转参数和主摄像机的内参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像；
步骤S1112，根据旋转参数、主摄像机的内参数，以及副摄像机的内参数和旋转矩阵，对第二图像进行矫正，得到第二图像对应的第二矫正图像。
具体的，根据调整后的主摄像机与副摄像机的基距tx和ty、副摄像机的内参数中的焦距s和主点位置的横纵坐标u和v，通过前述公式(18)可以得到矫正后的旋转参数Rn、副摄像机的内参数KR；然后可以将矫正后的旋转参数Rn、副摄像机的旋转矩阵R，内参数KR，以及主摄像机的内参数KL代入前述公式(17)中得到第一图像和第二图像的变换矩阵HL和HR，其中
Figure BDA0002422239730000301
利用HL和HR通过前述公式(17)对第一图像UL和第二图像UR进行矫正，计算UnL＝HLUL、UnR＝HRUR，最后得到第一图像对应的第一矫正图像UnL和第二图像对应的第二矫正图像UnR。
该方式中，为了克服由于变焦镜头的焦距变化、双摄结构的变化导致立体矫正模型不准确、以及主摄像机和副摄像机在水平和竖直方向上的基距测量不准确，导致同轴旋转矩阵Rn不准确的问题，在已知主摄像机和副摄像机水平和竖直方向上的基距、第一图像和第二图像的纹理图像和主摄像机和副摄像机内参矩阵，以及主摄像机和副摄像机之间的旋转矩阵的基础上，利用第一图像和第二图像中所提取的特征点对，利用优化算法，以行对齐误差最小作为目标函数，对可能变化的旋转参数、副摄像机的旋转矩阵和内参进行优化，从而得到矫正后的简化模型；根据该矫正后的简化模型，最终得到准确的图像矫正结果，提高了图像矫正的运算效率，同时提高了图像矫正结果的准确度以及稳定性。
实施例六：
对应于上述方法实施例，参见图13所示的一种图像矫正装置的结构示意图，该装置包括：
图像获取模块131，用于获取针对同一拍摄目标的第一图像和第二图像；其中，采集第一图像的主摄像机与采集第二图像的副摄像机非同轴设置；
旋转参数确定模块132，用于根据主摄像机与副摄像机的基距，确定主摄像机与副摄像机的相机坐标系的旋转参数；其中，旋转参数用于调整第一图像和第二图像，以使调整后的第一图像和第二图像对应的相机坐标系为同轴关系；
第一图像矫正模块133，用于根据旋转参数主摄像机的摄像参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像；
第二图像矫正模块134，用于根据旋转参数、以及主摄像机和副摄像机的摄像参数，对第二图像进行矫正，得到第二图像对应的第二矫正图像；其中，第一矫正图像与第二矫正图像在竖直方向或水平方向上的视差为零。
进一步的，上述旋转参数确定模块用于：获取主摄像机和副摄像机在水平方向上的第一基距，以及主摄像机和副摄像机在竖直方向上的第二基距；根据第一基距和第二基距，确定主摄像机与副摄像机的相机坐标系的旋转参数。
进一步的，上述旋转参数确定模块用于：主摄像机与副摄像机的相机坐标系的旋转参数Rn：
Figure BDA0002422239730000311
其中，angle＝-atan(ty/tx)；atan代表反正切函数；tx为第一基距；ty为第二基距。
进一步的，上述第一图像矫正模块用于：根据旋转参数和主摄像机的内参数，对第一图像进行矫正，得到第一图像对应的第一矫正图像。
进一步的，上述第一图像矫正模块包括：第一图像对应的第一矫正图像
Figure BDA0002422239730000312
其中，UL为第一图像；UnL为第一图像对应的第一矫正图像；KL为主摄像机的内参数；
Figure BDA0002422239730000321
为主摄像机的内参数矩阵的逆矩阵；Rn为旋转参数。
进一步的，上述第二图像矫正模块用于：根据旋转参数、主摄像机的内参数，以及副摄像机的内参数和旋转矩阵，对第二图像进行矫正，得到第二图像对应的第二矫正图像。
进一步的，上述第二图像矫正模块包括：第二图像对应的第二矫正图像
Figure BDA0002422239730000322
其中，UR为第二图像；UnR为第二图像对应的第二矫正图像；KL为主摄像机的内参数；Rn为旋转参数；R为副摄像机的旋转矩阵；R-1为副摄像机的旋转矩阵的逆矩阵；KR为副摄像机的内参数；
Figure BDA0002422239730000323
为副摄像机的内参数矩阵的逆矩阵。
进一步的，上述装置还包括，参数调整模块，用于基于预设的目标函数，以及预设的参数调整范围，调整旋转参数和副摄像机的摄像参数。
进一步的，上述参数调整模块用于：从第一图像和第二图像中提取特征点对：其中，特征点对包括第一图像中的第一特征点和第二图像中的第二特征点；第一特征点和第二特征点对应相同的世界坐标；设置目标函数，以使第一特征点的矫正点与第二特征点的矫正点的纵坐标的差值最小；其中，第一特征点的矫正点，通过下述方式得到：根据主摄像机的摄像参数和调整后的旋转参数，矫正第一特征点，得到第一特征点的矫正点；第二特征点的矫正点通过下述方式得到：根据主摄像机的摄像参数、调整后的旋转参数、以及调整后的副摄像机的摄像参数，矫正第二特征点，得到第二特征点的矫正点；基于目标函数，以及预设的参数调整范围，调整旋转参数和副摄像机的摄像参数。
进一步的，上述参数调整模块用于：如果特征点对包括多对，针对每对特征点对，计算该特征点对中第一特征点的矫正点与第二特征点的矫正点的纵坐标差值；设置目标函数，以使多对特征点对应的纵坐标差值之和最小。
进一步的，上述参数调整模块用于：基于目标函数，执行下述操作：在主摄像机和副摄像机水平方向上的第一基距的第一预设调整范围内，调整第一基距；在主摄像机和副摄像机竖直方向上的第二基距的第二预设调整范围内，调整第二基距；通过调整后的第一基距和第二基距，确定调整后的旋转参数；在副摄像机的旋转角度的预设调整范围之内，调整副摄像机的旋转角度；通过调整后的旋转角度，确定调整后的副摄像机的旋转矩阵；在副摄像机的内参数中的焦距的预设调整范围之内，调整副摄像机的内参数中的焦距；在副摄像机的内参数中的主点位置的预设调整范围之内，调整副摄像机的内参数中的主点位置；其中，主点为副摄像机的光轴与第二图像平面的交点。
本发明实施例提供了一种图像矫正装置，通过非同轴设置的主摄像机和副摄像机，获取针对同一拍摄目标的第一图像和第二图像；根据主摄像机与副摄像机的基距，确定主摄像机与副摄像机的相机坐标系的旋转参数；根据旋转参数和主摄像机的摄像参数，对第一图像进行矫正，根据旋转参数、以及主摄像机和副摄像机的摄像参数，对所述第二图像进行矫正，得到对应的第一矫正图像和第二矫正图像，以使第一矫正图像和第二矫正图像在竖直方向或水平方向上的视差为零。该方式中，对非同轴的第一图像和第二图像，通过上述旋转参数可以将第一图像和第二图像旋转至同轴，然后，对于第二图像，以旋转至同轴的第一图像为准，对第二图像进行矫正；相对于同时对两个图像进行矫正的方式，该方式提高了图像矫正的运算效率，同时提高了图像矫正结果的准确度以及稳定性。
实施例七：
本发明实施例提供了一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述图像矫正方法，或者上述图像矫正方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述图像矫正方法，或者上图像矫正方法的步骤。
本发明实施例所提供的图像矫正方法、装置和电子系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种图像矫正方法，其特征在于，包括：
获取针对同一拍摄目标的第一图像和第二图像；其中，采集所述第一图像的主摄像机与采集所述第二图像的副摄像机处在不同水平方向上，且处在不同竖直方向上；
根据所述主摄像机与所述副摄像机的基距，确定所述主摄像机与所述副摄像机的相机坐标系的旋转参数；其中，所述旋转参数用于调整所述第一图像和所述第二图像，以使调整后的所述第一图像和所述第二图像对应的相机坐标系的坐标轴原点处于同一水平方向或者同一竖直方向上；
根据所述旋转参数和所述主摄像机的摄像参数，对所述第一图像进行矫正，得到所述第一图像对应的第一矫正图像；
根据所述旋转参数、以及所述主摄像机和所述副摄像机的摄像参数，对所述第二图像进行矫正，得到所述第二图像对应的第二矫正图像；其中，所述第一矫正图像与所述第二矫正图像在竖直方向或水平方向上的视差为零。
2.根据权利要求1所述的方法，其特征在于，根据所述主摄像机与所述副摄像机的基距，确定所述主摄像机与所述副摄像机的相机坐标系的旋转参数的步骤，包括：
获取所述主摄像机和所述副摄像机在水平方向上的第一基距，以及所述主摄像机和所述副摄像机在竖直方向上的第二基距；
根据所述第一基距和所述第二基距，确定所述主摄像机与所述副摄像机的相机坐标系的旋转参数。
3.根据权利要求2所述的方法，其特征在于，根据所述第一基距和所述第二基距，确定所述主摄像机与所述副摄像机的相机坐标系的旋转参数的步骤，包括：
所述主摄像机与所述副摄像机的相机坐标系的旋转参数Rn：
Figure FDA0003090626470000021
其中，angle＝-atan(ty/tx)；atan代表反正切函数；tx为所述第一基距；ty为所述第二基距。
4.根据权利要求1所述的方法，其特征在于，根据所述旋转参数和所述主摄像机的摄像参数，对所述第一图像进行矫正，得到所述第一图像对应的第一矫正图像的步骤，包括：
根据所述旋转参数和所述主摄像机的内参数，对所述第一图像进行矫正，得到所述第一图像对应的第一矫正图像。
5.根据权利要求4所述的方法，其特征在于，根据所述旋转参数和所述主摄像机的内参数，对所述第一图像进行矫正，得到所述第一图像对应的第一矫正图像的步骤，包括：
所述第一图像对应的第一矫正图像
Figure FDA0003090626470000022
其中，UL为所述第一图像；UnL为所述第一图像对应的第一矫正图像；KL为所述主摄像机的内参数；
Figure FDA0003090626470000023
为所述主摄像机的内参数矩阵的逆矩阵；Rn为所述旋转参数。
6.根据权利要求1所述的方法，其特征在于，根据所述旋转参数、以及所述主摄像机和所述副摄像机的摄像参数，对所述第二图像进行矫正，得到所述第二图像对应的第二矫正图像的步骤，包括：
根据所述旋转参数、所述主摄像机的内参数，以及所述副摄像机的内参数和旋转矩阵，对所述第二图像进行矫正，得到所述第二图像对应的第二矫正图像。
7.根据权利要求6所述的方法，其特征在于，根据所述旋转参数、所述主摄像机的内参数，以及所述副摄像机的内参数和旋转矩阵，对所述第二图像进行矫正，得到所述第二图像对应的第二矫正图像的步骤，包括：
所述第二图像对应的第二矫正图像
Figure FDA0003090626470000031
其中，UR为所述第二图像；UnR为所述第二图像对应的第二矫正图像；KL为所述主摄像机的内参数；Rn为所述旋转参数；R为所述副摄像机的旋转矩阵；R-1为所述副摄像机的旋转矩阵的逆矩阵；KR为所述副摄像机的内参数；
Figure FDA0003090626470000032
为所述副摄像机的内参数矩阵的逆矩阵。
8.根据权利要求1所述的方法，其特征在于，根据所述旋转参数和所述主摄像机的摄像参数，对所述第一图像进行矫正的步骤之前，所述方法还包括：基于预设的目标函数，以及预设的参数调整范围，调整所述旋转参数和所述副摄像机的摄像参数。
9.根据权利要求8所述的方法，其特征在于，基于预设的目标函数，以及预设的参数调整范围，调整所述旋转参数和所述副摄像机的摄像参数的步骤，包括：
从所述第一图像和所述第二图像中提取特征点对：其中，所述特征点对包括所述第一图像中的第一特征点和所述第二图像中的第二特征点；所述第一特征点和所述第二特征点对应相同的世界坐标；
设置目标函数，以使所述第一特征点的矫正点与所述第二特征点的矫正点的纵坐标的差值最小；其中，所述第一特征点的矫正点，通过下述方式得到：根据所述主摄像机的摄像参数和调整后的所述旋转参数，矫正所述第一特征点，得到所述第一特征点的矫正点；所述第二特征点的矫正点通过下述方式得到：根据所述主摄像机的摄像参数、调整后的所述旋转参数、以及调整后的所述副摄像机的摄像参数，矫正所述第二特征点，得到所述第二特征点的矫正点；
基于所述目标函数，以及预设的参数调整范围，调整所述旋转参数和所述副摄像机的摄像参数。
10.根据权利要求9所述的方法，其特征在于，设置目标函数，以使所述第一特征点的矫正点与所述第二特征点的矫正点的纵坐标的差值最小的步骤，包括：
如果所述特征点对包括多对，针对每对所述特征点对，计算该特征点对中第一特征点的矫正点与所述第二特征点的矫正点的纵坐标差值；
设置所述目标函数，以使多对所述特征点对应的纵坐标差值之和最小。
11.根据权利要求9所述的方法，其特征在于，基于所述目标函数，以及预设的参数调整范围，调整所述旋转参数和所述副摄像机的摄像参数的步骤，包括：
基于所述目标函数，执行下述操作：
在所述主摄像机和所述副摄像机水平方向上的第一基距的第一预设调整范围内，调整所述第一基距；在所述主摄像机和所述副摄像机竖直方向上的第二基距的第二预设调整范围内，调整所述第二基距；通过调整后的所述第一基距和所述第二基距，确定调整后的所述旋转参数；
在所述副摄像机的旋转角度的预设调整范围之内，调整所述副摄像机的旋转角度；通过调整后的所述旋转角度，确定调整后的所述副摄像机的旋转矩阵；
在所述副摄像机的内参数中的焦距的预设调整范围之内，调整副摄像机的内参数中的焦距；
在所述副摄像机的内参数中的主点位置的预设调整范围之内，调整副摄像机的内参数中的主点位置；其中，所述主点为所述副摄像机的光轴与所述第二图像平面的交点。
12.一种图像矫正装置，其特征在于，包括：
图像获取模块，用于获取针对同一拍摄目标的第一图像和第二图像；其中，采集所述第一图像的主摄像机与采集所述第二图像的副摄像机处在不同水平方向上，且处在不同竖直方向上；
旋转参数确定模块，用于根据所述主摄像机与所述副摄像机的基距，确定所述主摄像机与所述副摄像机的相机坐标系的旋转参数；其中，所述旋转参数用于调整所述第一图像和所述第二图像，以使调整后的所述第一图像和所述第二图像对应的相机坐标系的坐标轴原点处于同一水平方向或者同一竖直方向；
第一图像矫正模块，用于根据所述旋转参数和所述主摄像机的摄像参数，对所述第一图像进行矫正，得到所述第一图像对应的第一矫正图像；
第二图像矫正模块，用于根据所述旋转参数、以及所述主摄像机和所述副摄像机的摄像参数，对所述第二图像进行矫正，得到所述第二图像对应的第二矫正图像；其中，所述第一矫正图像与所述第二矫正图像在竖直方向或水平方向上的视差为零。
13.一种电子系统，其特征在于，所述电子系统包括：处理设备和存储装置；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至11任一项所述的图像矫正方法。
14.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至11任一项所述的图像矫正方法的步骤。
CN202010210388.3A 2020-03-23 2020-03-23 图像矫正方法、装置和电子系统 Active CN111432117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010210388.3A CN111432117B (zh) 2020-03-23 2020-03-23 图像矫正方法、装置和电子系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010210388.3A CN111432117B (zh) 2020-03-23 2020-03-23 图像矫正方法、装置和电子系统

Publications (2)

Publication Number Publication Date
CN111432117A CN111432117A (zh) 2020-07-17
CN111432117B true CN111432117B (zh) 2021-08-10

Family

ID=71549640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010210388.3A Active CN111432117B (zh) 2020-03-23 2020-03-23 图像矫正方法、装置和电子系统

Country Status (1)

Country Link
CN (1) CN111432117B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115473971A (zh) * 2021-06-10 2022-12-13 虹软科技股份有限公司 视频处理方法及其装置、电子设备
CN113630549B (zh) * 2021-06-18 2023-07-14 北京旷视科技有限公司 变焦控制方法、装置、电子设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905147A (zh) * 2012-09-03 2013-01-30 上海立体数码科技发展有限公司 立体图像校正方法及装置
CN106507084A (zh) * 2016-10-18 2017-03-15 安徽协创物联网技术有限公司 一种全景相机阵列多视点图像校正方法
CN109328460A (zh) * 2016-07-01 2019-02-12 脸谱公司 立体图像捕获
CN109785225A (zh) * 2017-11-13 2019-05-21 虹软科技股份有限公司 一种用于图像矫正的方法和装置
WO2020027605A1 (ko) * 2018-08-01 2020-02-06 한국원자력연구원 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103636191B (zh) * 2011-08-23 2016-11-02 松下电器产业株式会社 三维摄像装置、透镜控制装置
WO2014002725A1 (ja) * 2012-06-29 2014-01-03 富士フイルム株式会社 ３次元測定方法、装置、及びシステム、並びに画像処理装置
CN102842118A (zh) * 2012-07-17 2012-12-26 刘怡光 一种鲁棒的立体像对矫正新方法
KR102224716B1 (ko) * 2014-05-13 2021-03-08 삼성전자주식회사 스테레오 소스 영상 보정 방법 및 장치
CN108307179A (zh) * 2016-08-30 2018-07-20 姜汉龙 一种3d立体成像的方法
CN110136048B (zh) * 2018-02-09 2022-10-14 中国科学院上海高等研究院 一种图像配准方法及系统、存储介质及终端
CN109410234A (zh) * 2018-10-12 2019-03-01 南京理工大学 一种基于双目视觉避障的控制方法及控制系统
CN110853151B (zh) * 2019-10-15 2024-02-09 西安理工大学 一种基于视频的三维立体点集恢复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905147A (zh) * 2012-09-03 2013-01-30 上海立体数码科技发展有限公司 立体图像校正方法及装置
CN109328460A (zh) * 2016-07-01 2019-02-12 脸谱公司 立体图像捕获
CN106507084A (zh) * 2016-10-18 2017-03-15 安徽协创物联网技术有限公司 一种全景相机阵列多视点图像校正方法
CN109785225A (zh) * 2017-11-13 2019-05-21 虹软科技股份有限公司 一种用于图像矫正的方法和装置
WO2020027605A1 (ko) * 2018-08-01 2020-02-06 한국원자력연구원 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치

Also Published As

Publication number Publication date
CN111432117A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111340737B (zh) 图像矫正方法、装置和电子系统
CN111457886B (zh) 距离确定方法、装置及系统
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US8553971B2 (en) Method and system for measuring object
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN111445537B (zh) 一种摄像机的标定方法及系统
JP2015527764A (ja) マルチ・フレーム画像キャリブレータ
CN112288826B (zh) 双目相机的标定方法、装置及终端
CN113409391B (zh) 视觉定位方法及相关装置、设备和存储介质
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN111432117B (zh) 图像矫正方法、装置和电子系统
WO2020188799A1 (ja) カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2022152194A1 (zh) 监控相机的标定方法
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN112581369A (zh) 图像拼接方法以及装置
CN113256718A (zh) 定位方法和装置、设备及存储介质
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
Chatterjee et al. A nonlinear Gauss–Seidel algorithm for noncoplanar and coplanar camera calibration with convergence analysis
CN111353945B (zh) 鱼眼图像校正方法、装置及存储介质
CN111292380A (zh) 图像处理方法及装置
JP2005275789A (ja) 三次元構造抽出方法
CN115578466A (zh) 相机标定方法、装置、计算机可读存储介质及电子设备
GB2560301A (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
CN115937005A (zh) 图像矫正方法、电子系统和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant