CN108122259A - 双目摄像头标定方法、装置、电子设备及可读存储介质 - Google Patents
双目摄像头标定方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN108122259A CN108122259A CN201711382813.1A CN201711382813A CN108122259A CN 108122259 A CN108122259 A CN 108122259A CN 201711382813 A CN201711382813 A CN 201711382813A CN 108122259 A CN108122259 A CN 108122259A
- Authority
- CN
- China
- Prior art keywords
- angle point
- msub
- angle
- mtd
- checkerboard image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种双目摄像头标定方法、装置、电子设备及可读存储介质。方法包括获取包括4个具有不同旋转角度的棋盘的棋盘图像；对棋盘图像进行角点提取处理，得到棋盘图像的角点；对所述角点进行识别，得到匹配的角点对；采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数；对修正后的棋盘图像进行计算，得到双目摄像头的内参数与外参数；根据内参数与所述外参数将修正后的棋盘图像的极线与图像的行线对齐。本方法提出的采用单图多标定板的标定方案，使用一组双目摄像头的标定数据，在该过程中没有手动操作，可以有效避免手动标定操作引入的误差，标定后重投影误差更小，可以适用于产线的规模化自动生产。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种双目摄像头标定方法、装置、电子设备及可读存储介质。
背景技术
为追求高成像质量及深度图像方面的应用，如拍后对焦，背景虚化等，越来越多智能手机使用双目摄像头。双目摄像头在使用块匹配方法求取深度图像前，一般需要对图像进行双目立体校正。双目立体校正的目的是使得左右图像对应的极线对齐到图像行线上，这样使得原来非确定性多项式(Non-deterministic polynomial，简称NP)的左右图像二维方向上的匹配问题，简化为一维方向的匹配问题。双目立体校正需要使用标定得到双目摄像头内参以及外参数，双目摄像头的相对旋转和平移对双目摄像头采集到图像分别进行单应变换得到校正后图像，校正后的图像是可以保证极线对齐对图像的行线上。
现有的双目标定方案一般是张氏标定方法，即使用极大似然优化最小二乘法求解本质矩阵的方案。一般需要对双目摄像头分别在同一时间拍摄10-20组包含标定物的照片。从标定物中提取模板特征点数据进行匹配计算。这个耗时的过程在模组产线上生产基本上是不可能实现的。同时张氏标定法在进行手工标定时容易引入人为误差，导致估算出来的参数有偏差，最终立体校正的效果不理想。
发明内容
为了克服现有技术中的上述不足，本发明所要解决的技术问题是提供一种双目摄像头标定方法、装置、电子设备及可读存储介质，其能够在减少所需标定图像数量的情况下，减小标定误差。
本发明第一方面的目的在于提供一种双目摄像头标定方法，所述方法包括：
获取包括4个具有不同旋转角度的棋盘的棋盘图像；
对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点；
基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对；
采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数；
采用所述样条系数对棋盘图像进行修正；
对修正后的棋盘图像进行计算，得到所述双目摄像头的内参数与外参数；
根据所述内参数与所述外参数将修正后的棋盘图像的极线与图像的行线对齐。
本发明第二方面的目的在于提供一种双目摄像头标定装置，所述装置包括：
获取模块，用于获取包括4个具有不同旋转角度的棋盘的棋盘图像；
提取模块，用于对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点；
识别模块，用于基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对；
计算模块，用于采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数；
修正模块，用于采用所述样条系数对棋盘图像进行修正；
所述计算模块，还用于对修正后的棋盘图像进行计算，得到所述双目摄像头的内参数与外参数；
对齐模块，用于根据所述内参数与所述外参数将修正后的棋盘图像的极线与图像的行线对齐。
本发明第三方面的目的在于提供一种电子设备，所述电子设备包括：处理器以及存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述电子设备执行以下操作：
获取包括4个具有不同旋转角度的棋盘的棋盘图像；
对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点；
基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对；
采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数；
采用所述样条系数对棋盘图像进行修正；
对修正后的棋盘图像进行计算，得到所述双目摄像头的内参数与外参数；
根据所述内参数与所述外参数将修正后的棋盘图像的极线与图像的行线对齐。
本发明第四方面的目的在于提供一种可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在电子设备执行上面所述的双目摄像头标定方法。
相对于现有技术而言，本发明具有以下有益效果：
本发明提供一种双目摄像头标定方法、装置、电子设备及可读存储介质。所述方法包括获取包括4个具有不同旋转角度的棋盘的棋盘图像；对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点；基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对；采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数；采用所述样条系数对棋盘图像进行修正；对修正后的棋盘图像进行计算，得到所述双目摄像头的内参数与外参数；根据所述内参数与所述外参数将修正后的棋盘图像的极线与图像的行线对齐。本方法提出的采用单图多标定板的标定方案，仅使用一组双目摄像头的标定数据，就可以做到行线对齐效果，在该过程中没有手动操作，可以有效避免手动标定操作引入的误差，标定后重投影误差更小，可以适用于产线的规模化自动生产。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的电子设备的方框示意图。
图2是本发明第一实施例提供的双目摄像头标定方法的步骤流程图。
图3是本发明第一实施例提供的进行标定布局的棋盘布局示意图。
图4是图2中步骤S130的子步骤流程图。
图5是经过步骤S130搜索处理后棋盘图像的示意图。
图6是经过本发明第一实施例提供的进行标定布局的棋盘布局方法处理后棋盘图像的示意图。
图7是本发明第二实施例提供的双目摄像头标定装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参照图1，是本发明较佳实施例提供的的一种电子设备100的方框示意图。所述电子设备100可以包括双目摄像头标定装置300、存储器111、存储控制器112及处理器113。
所述存储器111、存储控制器112及处理器113各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述双目摄像头标定装置300可以包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器113用于执行所述存储器111中存储的可执行模块，例如所述双目摄像头标定装置300所包括的软件功能模块及计算机程序等。
其中，所述存储器111可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序。所述处理器113以及其他可能的组件对存储器111的访问可在所述存储控制器112的控制下进行。
所述处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是，图1所示的框图仅为电子设备100的一种结构组成示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
第一实施例
请参照图2，图2是本发明较佳实施例提供的双目摄像头标定方法的步骤流程图。所述方法应用于上面描述的电子设备100，下面对双目摄像头标定方法的步骤做具体的描述。
步骤S110，获取包括4个具有不同旋转角度的棋盘的棋盘图像。
在本实施例中，在获取棋盘图像之前需要进行标定布局。标定布局是指，标定物的摆放以及摄像头与棋盘之间的位置关系。本实施例的标定棋盘布局由4个具有不同旋转角度的棋盘组成，其中，棋盘的标定布局可以参照图3。
双目摄像头的摆放需要满足以图像视场角(FOV)最大的方向为水平方向，基线中心尽可能与标定板组合的中心对准的方式摆放，摆放的距离需要满足以下三个条件(1)为了获取比较清晰的角点，摄像头处于清晰景深的距离；(2)为了按照一定规律快速匹配两张图中的角点，两个摄像头画面中都包含4个棋盘的棋盘格点；(3)为了使得标定的死区尽可能小，棋盘尽可能充满两个摄像头的画面。
在完成上述标定布局后，所述双目摄像头获取包括4个具有不同旋转角度的棋盘的棋盘图像。
步骤S120，对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点。
在本实施例中，所述步骤S120通过以下方式实现：
首先，使用特征点检测算法(比如FAST算法)计算出步骤S110中获取的棋盘图像中的角点位置，并计算这些角点的Harris响应值。
其次，对角点进行筛选，减少角点数量。可选地，在本实施例中可以根据上一步骤计算出的各个角点的Harris响应值，根据Harris响应3*3区域的极大值抑制，减小角点的数量。
最后，根据Harris响应值对筛选出的角点进行进一步的筛选，选取Harris响应值排在前K的角点，K＝4*N+R，其中N为单个棋盘识别的角点数，R为一安全值，设置安全值R可以避免背景中存在干扰较大的角点。
步骤S130，基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对。
在本实施例中，通过预先已知的棋盘模式，比如标准布局下水平方向有w个点，竖直方向有h个点来分开识别出单张图中多个棋盘的角点。
请参照图4，在本实施例中，所述步骤S130可以包括如下子步骤：
子步骤S130a，对所述棋盘图像进行水平和竖直方向的边缘检测，计算出水平方向和竖直方向的梯度值以及相位角。
子步骤S130b，在角点的邻域进行梯度值及相位角统计，计算梯度方向的响应直方图。
在该子步骤中，可选地，可以在获选节点的半径为10个像素点的邻域进行统计。
子步骤S130c，找到梯度直方图中两个峰值角点对应的方向角度。
在该子步骤中，找到子步骤S130b中梯度直方图中两个峰值角点的两个方向角度a1和a2。
子步骤S130d，遍历所述棋盘图像中的候选点，从所述对应的方向角度进行搜索，在搜索到角点时，生成一新的模式。
在该子步骤中，遍历图像中的角点。对候选点沿a1方向进行搜索，搜索关于角点位置左右最邻近的两个角点。然后对a2方向进行搜索，搜索关于候选点位置上下最邻近的两个角点。若成功找到角点，则生长一个新的模式。
子步骤S130e，若生成新的模式之间存在重合的角点，则将模式进行合并。
子步骤S130f，判断是否还能搜索到角点，若否进入子步骤S130g，若是返回子步骤S130d。
子步骤S130g，搜索出两个摄像头中的4个棋盘，根据每个棋盘的角点方向匹配左右的棋盘，得到匹配角点对。
经过步骤S130处理后，对棋盘进行搜索得到的结果，可以参照图5。
步骤S140，采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数。
在本实施例中，步骤S140可以通过以下方式实现：
首先，识别出棋盘的行线和列线。
在本实施例中，通过识别出的棋盘角点，可以得到不同棋盘的行线和列线，其中，行线是指同一棋盘的同一行所包含的棋盘角点，列线是指同一棋盘的同一列所包含的棋盘角点。
其次，对样条系数进行初始化，并根据初始化的样条系数计算出畸变校正后的点位置，计算各条行线和列线的直线偏差量作为误差。
其中，误差的计算公式可以如下：
其中，Pj代表畸变校正前的点位置，π代表修正的样条系数，μ(Pj,π)表示畸变校正后的位置，li表示所在直线，d()表示直线到点之间的距离。
最后，对上面得到的误差采用最小二乘法进行最小化，得到对应的用于进行图像畸变修正的样条系数。
步骤S150，采用所述样条系数对棋盘图像进行修正。
步骤S160，对修正后的棋盘图像进行计算，得到所述双目摄像头的内参数与外参数。
在本实施例中，计算双目摄像头的内参数的计算方式可以如下：
假定内参数中x和y方向的焦距fc是一样的，得到内参矩阵。
其中，下标c代表双目摄像头，(uc，vc)表示光轴中心在图像中的坐标，fc表示焦距；
双目摄像头进行双目校正的单应变换矩阵定义如下：
其中RC＝rodrigues(rc)，rodrigues(·)为旋转向量rc＝(rxc,ryc,rzc)到旋转矩阵的罗德里格斯变换；
要计算出单应变换矩阵，需求求解出双目摄像头fc，uc，vc，以及三个方向(x/y/z)的旋转向量rxc，ryc，rzc。
在本实施例中，通过计算修正后的棋盘图像上的角点在基线方向上的偏差，对所述偏差进行最小化误差计算得到所述双目摄像头的外参数。
计算双目摄像头的外参数的计算方式可以如下：
其中Hc为单应变换矩阵，为提取到的角点i坐标的齐次表示；
其中和分别为双目摄像头计算出来的变换坐标的纵坐标值；
通过最小化误差方程
Cf＝λf(f0-f1)2
CR＝λR(||r0||2-||r1||2)2
其中Cf和CR分别是对焦距f和双目摄像头旋转r0，r1的平滑项约束项。
步骤S170，根据所述内参数与所述外参数将修正后的棋盘图像的极线与图像的行线对齐。
在本实施例中，经过上述标定处理之后的标定图像可以参照图6
上述方法提出的采用单图多标定板的标定方案，仅使用一组双目摄像头的标定数据，就可以做到行线对齐效果，在该过程中没有手动操作，可以有效避免手动标定操作引入的误差，标定后重投影误差更小，可以适用于产线的规模化自动生产。
第二实施例
请参照图6，图6为本发明较佳实施例提供的双目摄像头标定装置300的结构框图。所述双目摄像头标定装置300用于执行图2中所示的方法，所述双目摄像头标定装置300包括：获取模块310、提取模块320、识别模块330、计算模块340、修正模块350及对齐模块360。
获取模块310，用于获取包括4个具有不同旋转角度的棋盘的棋盘图像。
提取模块320，用于对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点。
在本实施例中，所述提取模块320对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点的方式包括：
采用特征点检测算法计算出角点位置，并计算各个角点的Harris响应值；
采用Harris响应值对角点进行筛选，筛选得到预设数量的角点。
识别模块330，用于基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对。
所述识别模块330基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对的方式包括：
步骤a，对所述棋盘图像进行水平和竖直方向的边缘检测，计算出水平方向和竖直方向的梯度值以及相位角；
步骤b，在角点的邻域进行梯度值及相位角统计，计算梯度方向的响应直方图；
步骤c，找到梯度直方图中两个峰值角点对应的方向角度；
步骤d，遍历所述棋盘图像中的候选点，从所述对应的方向角度进行搜索，在搜索到角点时，生成一新的模式；
步骤e，若生成新的模式之间存在重合的角点，则将模式进行合并；
重复步骤d和步骤e，直到搜索不到角点；
搜索出两个摄像头中的4个棋盘，根据每个棋盘的角点方向匹配左右的棋盘，得到匹配角点对。
在本实施例中，新的模式是指从以孤立的搜索点开始，沿该搜索点各个方向进行搜索，将在各个方向上搜索到的点加上后就形成新的模式。比如，假设对于一搜索点(1x1)，当以搜索点为起点的8个方向均搜索到点，则形成的新的模式为3x3的棋盘模式。
计算模块340，用于采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数。
所述计算模块340采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数的方式包括：
识别出棋盘的行线和列线；
对样条系数进行初始化，并根据初始化的样条系数计算出畸变校正后的点位置，计算各条行线和列线的直线偏差量作为误差；
通过最小二乘法对所述误差进行处理得到最小化误差，并得到对应的用于进行图像畸变修正的样条系数。
修正模块350，用于采用所述样条系数对棋盘图像进行修正。
计算模块340，还用于对修正后的棋盘图像进行计算，得到所述双目摄像头的内参数与外参数。
对齐模块360，用于根据所述内参数与所述外参数将修正后的棋盘图像的极线与图像的行线对齐。
本发明提供一种双目摄像头标定方法、装置、电子设备及可读存储介质。所述方法包括获取包括4个具有不同旋转角度的棋盘的棋盘图像；对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点；基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对；采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数；采用所述样条系数对棋盘图像进行修正；对修正后的棋盘图像进行计算，得到所述双目摄像头的内参数与外参数；根据所述内参数与所述外参数将修正后的棋盘图像的极线与图像的行线对齐。本方法提出的采用单图多标定板的标定方案，仅使用一组双目摄像头的标定数据，就可以做到行线对齐效果，在该过程中没有手动操作，可以有效避免手动标定操作引入的误差，标定后重投影误差更小，可以适用于产线的规模化自动生产。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (13)
1.一种双目摄像头标定方法，其特征在于，所述方法包括：
获取双目摄像头拍摄的包括4个具有不同旋转角度的棋盘的棋盘图像；
对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点；
基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对；
采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数；
采用所述样条系数对棋盘图像进行修正；
对修正后的棋盘图像进行计算，得到所述双目摄像头的内参数与外参数；
根据所述内参数与所述外参数将修正后的棋盘图像的极线与图像的行线对齐。
2.如权利要求1所述的方法，其特征在于，所述对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点的步骤包括：
采用特征点检测算法计算出角点位置，并计算各个角点的Harris响应值；
采用Harris响应值对角点进行筛选，筛选得到预设数量的角点。
3.如权利要求1所述的方法，其特征在于，所述基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对的步骤包括：
步骤a，对所述棋盘图像进行水平和竖直方向的边缘检测，计算出水平方向和竖直方向的梯度值以及相位角；
步骤b，在角点的邻域进行梯度值及相位角统计，计算梯度方向的响应直方图；
步骤c，找到梯度直方图中两个峰值角点对应的方向角度；
步骤d，遍历所述棋盘图像中的候选点，从所述对应的方向角度进行搜索，在搜索到角点时，生成新的模式；
步骤e，若生成新的模式之间存在重合的角点，则将模式进行合并；
重复步骤d和步骤e，直到搜索不到角点；
搜索出两个摄像头中的4个棋盘，根据每个棋盘的角点方向匹配左右的棋盘，得到匹配角点对。
4.如权利要求1所述的方法，其特征在于，所述采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数的步骤包括：
识别出棋盘的行线和列线；
对样条系数进行初始化，并根据初始化的样条系数计算出畸变校正后的点位置，计算各条行线和列线的直线偏差量作为误差；
通过最小二乘法对所述误差进行处理得到最小化误差，并得到对应的用于进行图像畸变修正的样条系数。
5.如权利要求1所述的方法，其特征在于，所述对修正后的棋盘图像进行计算，得到所述双目摄像头的内参数的公式如下：
<mrow>
<msub>
<mi>K</mi>
<mi>c</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，下标c代表双目摄像头，(uc，vc)表示光轴中心在图像中的坐标，fc表示焦距；
双目摄像头进行双目校正的单应变换矩阵定义如下：
<mrow>
<mi>K</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>K</mi>
<mn>0</mn>
</msub>
<mo>+</mo>
<msub>
<mi>K</mi>
<mn>1</mn>
</msub>
</mrow>
<mn>2</mn>
</mfrac>
</mrow>
<mrow>
<msub>
<mi>H</mi>
<mi>C</mi>
</msub>
<mo>=</mo>
<msub>
<mi>KR</mi>
<mi>C</mi>
</msub>
<msubsup>
<mi>K</mi>
<mi>C</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
</mrow>
其中RC＝rodrigues(rc)，rodrigues(·)为旋转向量rc＝(rxc,ryc,rzc)到旋转矩阵的罗德里格斯变换；
要计算出单应变换矩阵，需求求解出双目摄像头fc，uc，vc，以及三个方向(x/y/z)的旋转向量rxc，ryc，rzc。
6.如权利要求1所述的方法，其特征在于，所述对修正后的棋盘图像进行计算，得到所述双目摄像头的外参数的步骤包括：
计算修正后的棋盘图像上的角点在基线方向上的偏差，对所述偏差进行最小化误差计算得到所述双目摄像头的外参数。
7.如权利要求6所述的方法，其特征在于，计算修正后的棋盘图像上的角点在基线方向上的偏差，对所述偏差进行最小化误差计算得到所述双目摄像头的外参数的公式如下：
<mrow>
<msubsup>
<mi>q</mi>
<mi>c</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msub>
<mi>H</mi>
<mi>c</mi>
</msub>
<msubsup>
<mi>P</mi>
<mi>c</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>H</mi>
<mi>c</mi>
</msub>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mi>c</mi>
<mi>i</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>y</mi>
<mi>c</mi>
<mi>i</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中Hc为单应变换矩阵，为提取到的角点i坐标的齐次表示；
<mrow>
<msub>
<mi>&delta;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msubsup>
<mi>q</mi>
<mn>0</mn>
<mi>i</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>q</mi>
<mn>1</mn>
<mi>i</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
其中和分别为双目摄像头计算出来的变换坐标的纵坐标值；
通过最小化误差方程
<mrow>
<munder>
<mi>argmin</mi>
<mrow>
<msub>
<mi>K</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>R</mi>
<mn>0</mn>
</msub>
<mo>,</mo>
<msub>
<mi>R</mi>
<mn>1</mn>
</msub>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&Sigma;&delta;</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>C</mi>
<mi>f</mi>
</msub>
<mo>+</mo>
<msub>
<mi>C</mi>
<mi>R</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
Cf＝λf(f0-f1)2
CR＝λR(||r0||2-||r1||2)2
其中Cf和CR分别是对焦距f和双目摄像头旋转r0，r1的平滑项约束项。
8.一种双目摄像头标定装置，其特征在于，所述装置包括：
获取模块，用于获取双目摄像头拍摄的包括4个具有不同旋转角度的棋盘的棋盘图像；
提取模块，用于对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点；
识别模块，用于基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对；
计算模块，用于采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数；
修正模块，用于采用所述样条系数对棋盘图像进行修正；
所述计算模块，还用于对修正后的棋盘图像进行计算，得到所述双目摄像头的内参数与外参数；
对齐模块，用于根据所述内参数与所述外参数将修正后的棋盘图像的极线与图像的行线对齐。
9.如权利要求8所述的装置，其特征在于，所述提取模块对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点的方式包括：
采用特征点检测算法计算出角点位置，并计算各个角点的Harris响应值；
采用Harris响应值对角点进行筛选，筛选得到预设数量的角点。
10.如权利要求8所述的装置，其特征在于，所述识别模块基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对的方式包括：
步骤a，对所述棋盘图像进行水平和竖直方向的边缘检测，计算出水平方向和竖直方向的梯度值以及相位角；
步骤b，在角点的邻域进行梯度值及相位角统计，计算梯度方向的响应直方图；
步骤c，找到梯度直方图中两个峰值角点对应的方向角度；
步骤d，遍历所述棋盘图像中的候选点，从所述对应的方向角度进行搜索，在搜索到角点时，生成一新的模式；
步骤e，若生成新的模式之间存在重合的角点，则将模式进行合并；
重复步骤d和步骤e，直到搜索不到角点；
搜索出两个摄像头中的4个棋盘，根据每个棋盘的角点方向匹配左右的棋盘，得到匹配角点对。
11.如权利要求8所述的装置，其特征在于，所述计算模块采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数的方式包括：
识别出棋盘的行线和列线；
对样条系数进行初始化，并根据初始化的样条系数计算出畸变校正后的点位置，计算各条行线和列线的直线偏差量作为误差；
通过最小二乘法对所述误差进行处理得到最小化误差，并得到对应的用于进行图像畸变修正的样条系数。
12.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述电子设备执行以下操作：
获取包括4个具有不同旋转角度的棋盘的棋盘图像；
对所述棋盘图像进行角点提取处理，得到所述棋盘图像的角点；
基于已知棋盘的模式对所述角点进行识别，得到匹配的角点对；
采用畸变校正算法对匹配的角点对进行计算得到用于进行图像畸变修正的样条系数；
采用所述样条系数对棋盘图像进行修正；
对修正后的棋盘图像进行计算，得到所述双目摄像头的内参数与外参数；
根据所述内参数与所述外参数将修正后的棋盘图像的极线与图像的行线对齐。
13.一种可读存储介质，所述可读存储介质包括计算机程序，其特征在于：
所述计算机程序运行时控制所述可读存储介质所在电子设备执行权利要求1-7中任意一项所述的双目摄像头标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711382813.1A CN108122259A (zh) | 2017-12-20 | 2017-12-20 | 双目摄像头标定方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711382813.1A CN108122259A (zh) | 2017-12-20 | 2017-12-20 | 双目摄像头标定方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108122259A true CN108122259A (zh) | 2018-06-05 |
Family
ID=62230362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711382813.1A Pending CN108122259A (zh) | 2017-12-20 | 2017-12-20 | 双目摄像头标定方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108122259A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109909801A (zh) * | 2019-03-13 | 2019-06-21 | 湖北文理学院 | 旋转台误差校正方法、装置及电子设备 |
| CN111383278A (zh) * | 2018-12-29 | 2020-07-07 | Tcl集团股份有限公司 | 一种双摄像头的标定方法、装置及设备 |
| CN111627067A (zh) * | 2019-02-28 | 2020-09-04 | 海信集团有限公司 | 一种双目相机的标定方法及车载设备 |
| CN111860652A (zh) * | 2020-07-22 | 2020-10-30 | 中国平安财产保险股份有限公司 | 基于图像检测的动物体重测量方法、装置、设备及介质 |
| CN112164099A (zh) * | 2020-09-23 | 2021-01-01 | 北京的卢深视科技有限公司 | 基于单目结构光的自检自校准方法及装置 |
| CN112305524A (zh) * | 2020-10-28 | 2021-02-02 | 五邑大学 | 测距方法、测距系统和计算机可读存储介质 |
| CN112470192A (zh) * | 2018-06-08 | 2021-03-09 | Oppo广东移动通信有限公司 | 双摄像头标定方法、电子设备、计算机可读存储介质 |
| WO2021098517A1 (zh) * | 2019-11-19 | 2021-05-27 | 浙江商汤科技开发有限公司 | 图像采集设备的标定方法、装置、系统、设备及存储介质 |
| CN112927307A (zh) * | 2021-03-05 | 2021-06-08 | 深圳市商汤科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
| CN113808220A (zh) * | 2021-09-24 | 2021-12-17 | 上海闻泰电子科技有限公司 | 双目摄像机的标定方法、系统、电子设备和存储介质 |
| CN117710488A (zh) * | 2024-01-17 | 2024-03-15 | 苏州市欧冶半导体有限公司 | 相机内参标定方法、装置、计算机设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5689116A (en) * | 1996-06-05 | 1997-11-18 | General Electric Company | Systems and methods for calibrating a gamma camera |
| CN102158684A (zh) * | 2010-02-12 | 2011-08-17 | 王炳立 | 具有图像增强功能的自适应场景图像辅助系统 |
| CN103177439A (zh) * | 2012-11-26 | 2013-06-26 | 惠州华阳通用电子有限公司 | 一种基于黑白格角点匹配的自动标定方法 |
| CN104008542A (zh) * | 2014-05-07 | 2014-08-27 | 华南理工大学 | 一种针对特定平面图形的快速角点匹配方法 |
| CN104867160A (zh) * | 2015-06-17 | 2015-08-26 | 合肥工业大学 | 一种用于摄像机内外参数标定的方向性标定靶标 |
| CN106887023A (zh) * | 2017-02-21 | 2017-06-23 | 成都通甲优博科技有限责任公司 | 用于双目摄像机标定的标定板及其标定方法和标定系统 |
-
2017
- 2017-12-20 CN CN201711382813.1A patent/CN108122259A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5689116A (en) * | 1996-06-05 | 1997-11-18 | General Electric Company | Systems and methods for calibrating a gamma camera |
| CN102158684A (zh) * | 2010-02-12 | 2011-08-17 | 王炳立 | 具有图像增强功能的自适应场景图像辅助系统 |
| CN103177439A (zh) * | 2012-11-26 | 2013-06-26 | 惠州华阳通用电子有限公司 | 一种基于黑白格角点匹配的自动标定方法 |
| CN104008542A (zh) * | 2014-05-07 | 2014-08-27 | 华南理工大学 | 一种针对特定平面图形的快速角点匹配方法 |
| CN104867160A (zh) * | 2015-06-17 | 2015-08-26 | 合肥工业大学 | 一种用于摄像机内外参数标定的方向性标定靶标 |
| CN106887023A (zh) * | 2017-02-21 | 2017-06-23 | 成都通甲优博科技有限责任公司 | 用于双目摄像机标定的标定板及其标定方法和标定系统 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112470192A (zh) * | 2018-06-08 | 2021-03-09 | Oppo广东移动通信有限公司 | 双摄像头标定方法、电子设备、计算机可读存储介质 |
| CN111383278A (zh) * | 2018-12-29 | 2020-07-07 | Tcl集团股份有限公司 | 一种双摄像头的标定方法、装置及设备 |
| CN111627067A (zh) * | 2019-02-28 | 2020-09-04 | 海信集团有限公司 | 一种双目相机的标定方法及车载设备 |
| CN111627067B (zh) * | 2019-02-28 | 2023-08-22 | 海信集团有限公司 | 一种双目相机的标定方法及车载设备 |
| CN109909801A (zh) * | 2019-03-13 | 2019-06-21 | 湖北文理学院 | 旋转台误差校正方法、装置及电子设备 |
| JP2022514429A (ja) * | 2019-11-19 | 2022-02-10 | 浙江商▲湯▼科技▲開▼▲発▼有限公司 | 画像収集機器のキャリブレーション方法、装置、システム、機器及び記憶媒体 |
| CN112907675B (zh) * | 2019-11-19 | 2022-05-24 | 浙江商汤科技开发有限公司 | 图像采集设备的标定方法、装置、系统、设备及存储介质 |
| WO2021098517A1 (zh) * | 2019-11-19 | 2021-05-27 | 浙江商汤科技开发有限公司 | 图像采集设备的标定方法、装置、系统、设备及存储介质 |
| CN112907675A (zh) * | 2019-11-19 | 2021-06-04 | 浙江商汤科技开发有限公司 | 图像采集设备的标定方法、装置、系统、设备及存储介质 |
| CN111860652B (zh) * | 2020-07-22 | 2022-03-29 | 中国平安财产保险股份有限公司 | 基于图像检测的动物体重测量方法、装置、设备及介质 |
| CN111860652A (zh) * | 2020-07-22 | 2020-10-30 | 中国平安财产保险股份有限公司 | 基于图像检测的动物体重测量方法、装置、设备及介质 |
| CN112164099A (zh) * | 2020-09-23 | 2021-01-01 | 北京的卢深视科技有限公司 | 基于单目结构光的自检自校准方法及装置 |
| CN112305524A (zh) * | 2020-10-28 | 2021-02-02 | 五邑大学 | 测距方法、测距系统和计算机可读存储介质 |
| CN112927307A (zh) * | 2021-03-05 | 2021-06-08 | 深圳市商汤科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
| CN113808220A (zh) * | 2021-09-24 | 2021-12-17 | 上海闻泰电子科技有限公司 | 双目摄像机的标定方法、系统、电子设备和存储介质 |
| CN117710488A (zh) * | 2024-01-17 | 2024-03-15 | 苏州市欧冶半导体有限公司 | 相机内参标定方法、装置、计算机设备和存储介质 |
| CN117710488B (zh) * | 2024-01-17 | 2024-09-24 | 苏州市欧冶半导体有限公司 | 相机内参标定方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108122259A (zh) | 双目摄像头标定方法、装置、电子设备及可读存储介质 | |
| US10290111B2 (en) | Systems and methods for compositing images | |
| US11158089B2 (en) | Camera parameter calibration method, device, apparatus, and system | |
| CN105957007B (zh) | 基于特征点平面相似度的图像拼接方法 | |
| CN108230397B (zh) | 多目摄像机标定与校正方法和装置、设备、程序和介质 | |
| CN106683071B (zh) | 图像的拼接方法和装置 | |
| US9094672B2 (en) | Stereo picture generating device, and stereo picture generating method | |
| CN106157304A (zh) | 一种基于多个相机的全景图拼接方法及系统 | |
| CN108876749A (zh) | 一种鲁棒的镜头畸变校正方法 | |
| CN109118542A (zh) | 激光雷达与相机之间的标定方法、装置、设备及存储介质 | |
| EP1932114A2 (en) | Image processing apparatus and image processing program | |
| CN105379264A (zh) | 用于成像设备建模与校准的系统和方法 | |
| CN107945221A (zh) | 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法 | |
| CN105631872A (zh) | 基于多特征点的遥感图像配准方法 | |
| CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
| CN108076341B (zh) | 一种视频卫星成像在轨实时稳像方法及系统 | |
| Jin | A three-point minimal solution for panoramic stitching with lens distortion | |
| CN113689332B (zh) | 高度重复特征场景下高鲁棒性的图像拼接方法 | |
| CN116109681A (zh) | 图像融合方法、装置、电子设备及可读存储介质 | |
| CN112419383B (zh) | 一种深度图的生成方法、装置及存储介质 | |
| JP5928465B2 (ja) | 劣化復元システム、劣化復元方法およびプログラム | |
| KR102392631B1 (ko) | 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램 | |
| CN112819900B (zh) | 一种智能立体摄影内方位、相对定向和畸变系数标定方法 | |
| CN113163111B (zh) | 基于高斯加权或正弦加权的全景图像缝合方法、存储介质及终端 | |
| He et al. | Enhancing RAW-to-sRGB with Decoupled Style Structure in Fourier Domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180605 |
|
| RJ01 | Rejection of invention patent application after publication |