CN110136205A - 多目相机的视差校准方法、装置及系统 - Google Patents
多目相机的视差校准方法、装置及系统 Download PDFInfo
- Publication number
- CN110136205A CN110136205A CN201910294175.0A CN201910294175A CN110136205A CN 110136205 A CN110136205 A CN 110136205A CN 201910294175 A CN201910294175 A CN 201910294175A CN 110136205 A CN110136205 A CN 110136205A
- Authority
- CN
- China
- Prior art keywords
- matrix
- photographic device
- internal reference
- equivalent
- coplanar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 225
- 230000003287 optical effect Effects 0.000 claims description 30
- 238000003860 storage Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明实施方式提供一种多目相机的视差校准方法，属于视觉处理领域。所述多目相机包含至少两个位置相对固定的摄像装置，所述方法还包括：标定得出所述多目相机的统一投影模型；根据所述统一投影模型对每个所述摄像装置的成像进行校准。同时，还提供了一种采用上述视差校准方法的多目相机，以及采用上述视差校准方法的图像处理系统。本发明通过对多目相机的成像之间的差异进行了校准，避免了图像视差，满足了后期迅速图像拼接和进一步处理。
Description
技术领域
本发明涉及视觉处理领域，具体地涉及多目相机的视差校准方法、多目相机的视差校准装置及系统。
背景技术
所谓多目校准，是指基于多个摄像头的视差的消除。目前的多目相机，虽然在出厂时进行了一定的调校，但是还是会因为多目相机每个摄像头相对位置关系的不一致，造成每个摄像头拍摄的画面会出现图像位置和大小不一致的情况，不便于后期图像迅速拼接和图像数据的进一步分析。
特别是常用的多光谱相机，其每个摄像头仅仅是光谱滤波的不同，为了便于后期拼图，以及光谱数据分析和植被相应指数迅速计算，需要每个摄像头的图像具有良好的重合性。现有的技术中并没有对多目相机的成像进行校准的通用性和易用性方法。
发明内容
本发明实施方式的目的是至少解决上述多目相机的摄像头之间由于不同位置造成的视差问题，使各自拍摄的画面达到位置重叠和大小一致，以满足后期的画面处理需求。
为了实现上述目的，在本发明第一方面，提供一种多目相机的视差校准方法，所述多目相机包含至少两个位置相对固定的摄像装置，
标定得出所述多目相机的统一投影模型；
根据所述统一投影模型对每个所述摄像装置的成像进行校准。
可选的，所述统一投影模型包括等效共面矩阵和等效内参矩阵。
可选的，所述标定得出所述多目相机的统一投影模型，包括：
标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵；
对所述摄像装置进行旋转变换等效以达到全部所述摄像装置的光轴相互平行，得到所述等效共面矩阵；
将全部所述摄像装置的焦距统一为等效焦距以及将全部所述摄像装置的光心统一为等效光心，得到所述等效内参矩阵。
可选的，所述标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵，包括：
采用单目标定获取单个所述摄像装置的内参矩阵，所述内参矩阵至少包含有fx、fy、cx、cy，fx、fy分别为x、y方向上的焦距，cx、cy分别为 x、y方向上的光心；以及
采用双目标定获取单个所述摄像装置相对于其余摄像装置的位置关系矩阵，所述位置关系矩阵至少包含有旋转矩阵。
可选的，所述标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵的步骤之后，还包括对所述内参矩阵和所述位置关系矩阵进行误差控制的步骤：当所述内参矩阵和所述位置关系矩阵的重投影误差大于设定误差时，重新通过单目标定和/或双目标定进行再次获取，直至其重投影误差小于所述设定误差。
可选的，所述得到所述等效共面矩阵，包括：
A、将全部所述旋转矩阵进行处理，轮空旋转矩阵数目置为0；
B、以左右图像的重投影畸变最小或左右视图共同面积最大的原则，将待处理的旋转矩阵以每组两个分为多组；如果旋转矩阵的数目为单数，将有一个旋转矩阵轮空，则将轮空旋转矩阵数目加1；将每组内的两个旋转矩阵进行共面；每组得到一个共面后的旋转矩阵；
C、判断共面后的旋转矩阵数目加上轮空旋转矩阵数目是否为1，为1 转步骤D；否则，判断共面后的旋转矩阵数目是否为1，为1则将共面后的旋转矩阵加上最近一轮的轮空旋转矩阵作为待处理的旋转矩阵，重复步骤B，同时将轮空旋转矩阵数目减1；不为1，则将共面后的旋转矩阵作为待处理的旋转矩阵，重复步骤B；
D、将得到的唯一的共面后的旋转矩阵作为等效共面矩阵。
可选的，将全部所述摄像装置的光心统一为等效光心的步骤为：
在图像二维坐标系下构建至少4个点的二维坐标，投影到三维相机系下；
在三维相机系下使用中间内参矩阵进行标定，所述中间内参矩阵为将原来的所述内参矩阵中的焦距替换为焦距均方根值所得到的矩阵；
对标定后的坐标采用所述等效共面矩阵，重新反投影到图像二维坐标系；
得到cxnew,cynew，其中cxnew,cynew分别为x、y方向上的等效光心。
可选的，所述焦距均方根值的计算步骤为：
选出每个所述摄像装置的内参矩阵中焦距的最小值f＝min(fx,fy)，其中fx,fy分别为x、y方向上的焦距；每个所述摄像装置的焦距分别记为； f1、f2…fn；
所述fxrms和fyrms分别为x、y方向上的焦距均方根值。
可选的，在所述根据所述统一投影模型对每个所述摄像装置的成像进行校准的步骤之前，还包括去除畸变黑边的步骤：
取待处理图像中的若干参考点位，所述参考点位分布于待处理图像的边缘上；
根据标定算法计算所述参考点位的标准坐标；
通过所述标准坐标计算出所述待处理图像的有效像素所构成区域的最大内接矩阵；
将所述最大内接矩阵缩放变换至所述待处理图像的相同大小。
可选的，所述根据标定算法计算所述参考点位的标准坐标，包括以下步骤：
将所述参考点位的像素坐标点从像素坐标系转换至相机坐标系，得到相机坐标点；
将所述相机坐标点进行畸变校正，得到校正后的相机坐标点；
将所述校正后的相机坐标点转换至世界坐标系，得到世界坐标点；
将所述世界坐标点进行归一化后转换至相机坐标系，再转换至像素坐标系，得到所述参考点位的新的像素坐标点作为所述标准坐标。
可选的，所述通过所述标准坐标计算出所述待处理图像的有效像素所构成区域的最大内接矩阵，包括：
在标准坐标下，取所述待处理图像的有效像素中的上边缘线在y方向的最小值，下边缘线在y方向的最大值，左边缘线在x方向的最大值,右边缘线在x方向的最小值，由以上四个值确定所述最大内接矩阵的边缘线，从而确定所述最大内接矩阵。
可选的，将全部所述摄像装置的焦距统一为等效焦距的步骤为：
fxrms和fyrms分别乘以缩放系数S得到x、y方向上的等效焦距fxnew 和fynew；所述缩放系数S＝max(待处理图像x方向边长/最大内接矩阵x方向边长，待处理图像y方向边长/最大内接矩阵y方向边长)。
可选的，所述得到所述等效内参矩阵，包括：
将单个所述摄像装置的内参矩阵中的fx、fy均替换为fxnew和fynew，
将cx、cy均替换为cxnew,cynew；
得到所述等效内参矩阵。
可选的，所述根据所述统一投影模型对每个所述摄像装置的成像进行校准,包括：
根据所述等效共面矩阵计算每个旋转矩阵需要的旋转调整矩阵,所述旋转调整矩阵用于校准所述摄像装置之间的旋转视差；
根据所述等效内参矩阵计算每个内参矩阵需要的缩放调整矩阵,所述缩放调整矩阵用于校准所述摄像装置之间的缩放视差。
在本发明的第二方面，还提供一种处理装置，所述处理装置被配置成采用前述的视差校准方法对摄像装置进行处理。
在本发明的第三方面，还提供一种多目相机，所述多目相机包括至少两个位置相对固定的摄像装置，所述多目相机包括：
图像处理装置，所述图像处理装置被配置成采用前述的视差校准方法对所述摄像装置进行处理。
可选的，所述多目相机还包括：
通信接口，所述通信接口被配置成将所述图像处理装置处理后的图像传输至所述多目相机外部。
在本发明的第四方面，还提供一种多摄像头的图像处理系统，所述系统包括：
至少两个位置相对固定的摄像装置；
处理装置，所述处理装置被配置成采用前述的视差校准方法对所述摄像装置进行处理。
在本发明的第五方面，还提供一种机器可读存储介质，所述机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行前述的视差校准方法。
本发明上述技术方案通过对多光谱相机多个摄像头的投影模型进行重新校准，避免了图像视差，满足后期迅速图像拼接和进一步处理。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
图1是本发明一种实施方式提供的多目相机的视差校准方法的步骤流程图；
图2是本发明一种实施方式提供的多目相机的视差校准方法的原理图；
图3是本发明一种可选实施方式提供的去除畸变黑边的示意图；
图4是本发明一种可选实施方式提供的视差校准系统的结构示意图；
图5是本发明一种可选实施方式提供的多目相机的视差校准方法的流程示意图；
图6是本发明一种可选实施方式提供的摄像装置模型示意图；
图7是本发明一种可选实施方式提供的标定板示意图。
附图标记说明
10 标定板 20 摄像装置
30 处理装置 40 存储装置
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。
图1是本发明一种实施方式提供的多目相机的视差校准方法的步骤流程图，如图1所示，所述多目相机包含至少两个位置相对固定的摄像装置(图中未示出)，所述方法包括：
标定得出所述多目相机的统一投影模型；根据所述统一投影模型对每个所述摄像装置的成像进行校准。
如此，通过以上实施方式，以消除多目相机中摄像装置之间的成像视差，使各摄像装置各自拍摄的画面达到位置重叠和大小一致。
具体的，如图2所示：待成像的目标为A，经过所述多目相机的多个摄像装置(此处举例为4个)，经过摄像装置1至摄像装置4成像后分别变为A1至A4,由于每个摄像装置的参数均不完全相同，而且摄像装置之间的位置也不是一定都在理想状态，因此其成像各有差异，因此目标A的成像A1 至A4绝大多数情况下，是各不相同的。所以我们需要对A1至A4分别进行校准，使A1至A4校准后的成像一致，得到A"，以此消除摄像装置1至摄像装置4之间的成像误差。当目标A统一成像为A"时，等效于图像的右半部分，即目标A经过了一个统一的投影矩阵后得到了A"。因此，我们可以先得出一个统一的投影矩阵，然后再标定出摄像装置1至摄像装置4各自的参数矩阵，再计算出各参数矩阵调整至所述的统一的投影矩阵所需要的调整矩阵。通过调整矩阵对摄像装置1至摄像装置4各自的成像A1至A4分别进行调整，得到一个统一的A"，以此消除摄像装置1至摄像装置4之间的成像误差。
进一步的，所述统一投影模型包括等效共面矩阵和等效内参矩阵。根据目前的常用标定技术，其标定后的参数包括：内参矩阵、外参矩阵和畸变参数，对应的对图像的调整方式包括缩放调整、旋转调整和畸变调整，因此确定所述统一投影模型包括等效共面矩阵和等效内参矩阵。
进一步的，所述标定得出所述多目相机的统一投影模型，包括：标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵；对所述摄像装置进行旋转变换等效以达到全部所述摄像装置的光轴相互平行，得到所述等效共面矩阵；将全部所述摄像装置的焦距统一为等效焦距以及将全部所述摄像装置的光心统一为等效光心，得到所述等效内参矩阵。以上描述了获取等效共面矩阵和等效内参矩阵的基本方法，获取等效共面矩阵的目的是为了解决图像之间的旋转误差，获取等效内参矩阵是为了解决图像之间的大小不一致问题。
在本发明提供的一种可选实施方式中，所述标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵，包括：采用单目标定获取单个所述摄像装置的内参矩阵，所述内参矩阵至少包含有fx、fy、cx、cy， fx、fy分别为x、y方向上的焦距，cx、cy分别为x、y方向上的光心；以及采用双目标定获取单个所述摄像装置相对于其余摄像装置的位置关系矩阵，所述位置关系矩阵至少包含有旋转矩阵。为了获取单个摄像装置(即图 2中的摄像装置1至摄像装置4)的内参矩阵和相对于其余摄像装置的位置关系矩阵，此处采用单目标定和\或双目标定进行获取。其中标定的方法为现有技术，此处不再详述。
进一步的，所述标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵的步骤之后，还包括对所述内参矩阵和所述位置关系矩阵进行误差控制的步骤：当所述内参矩阵和所述位置关系矩阵的重投影误差大于设定误差时，重新通过单目标定和/或双目标定进行再次获取，直至其重投影误差小于所述设定误差。此处可设定误差为0.03。此处的目的是为了使上一步获取的内参矩阵和位置关系矩阵(更准确的说，是旋转矩阵)更加准确。重投影误差是指图像点经过标定出的矩阵所得到的理论位置和实际投影位置之间的距离，表示的是每个摄像装置所标定出的矩阵的精度。重投影误差的获取方法可参见现有技术。
在本发明提供的一种可选实施方式中，所述得到所述等效共面矩阵，包括：
A、将全部所述旋转矩阵进行处理，轮空旋转矩阵数目置为0；
B、以左右图像的重投影畸变最小或左右视图共同面积最大的原则，将待处理的旋转矩阵以每组两个分为多组；如果旋转矩阵的数目为单数，将有一个旋转矩阵轮空，则将轮空旋转矩阵数目加1；将每组内的两个旋转矩阵进行共面；每组得到一个共面后的旋转矩阵；
C、判断共面后的旋转矩阵数目加上轮空旋转矩阵数目是否为1，为1 转步骤D；否则，判断共面后的旋转矩阵数目是否为1，为1则将共面后的旋转矩阵加上最近一轮的轮空旋转矩阵作为待处理的旋转矩阵，重复步骤B，同时将轮空旋转矩阵数目减1；不为1，则将共面后的旋转矩阵作为待处理的旋转矩阵，重复步骤B；
D、将得到的唯一的共面后的旋转矩阵作为等效共面矩阵。
下面分别以3个摄像装置、4个摄像装置和7个摄像装置为例，讲解以上的共面过程：
以3个摄像装置为例，以左右图像的重投影畸变最小或左右视图共同面积最大的原则，将其中两个摄像装置对应的旋转矩阵进行一个共面，并还剩一个轮空的旋转矩阵。将第一轮共面后的共面矩阵和轮空的旋转矩阵再进行一次共面，得到唯一共面后的旋转矩阵，作为等效共面矩阵。
以4个摄像装置为例，以左右图像的重投影畸变最小或左右视图共同面积最大的原则，可以以相邻的两个摄像装置的旋转矩阵分为一组，则分为2 组，并没有轮空的旋转矩阵，每组共面后得到一个共面矩阵，再将第一轮共面后的两个共面矩阵进行共面，得到唯一共面后的旋转矩阵，作为等效共面矩阵。
以7个摄像装置为例，以左右图像的重投影畸变最小或左右视图共同面积最大的原则，可以以相邻的两个摄像装置的旋转矩阵分为一组，则分为3 组，并还剩一个轮空的旋转矩阵。这3组旋转矩阵每组共面后得到一个共面矩阵，得到3个共面矩阵，再按照前述的以3个摄像装置的旋转矩阵的方法进行共面后，得到一个共面矩阵。此时再将第一轮轮空的旋转矩阵与刚得到的共面矩阵进行一次共面，得到唯一共面后的旋转矩阵，作为等效共面矩阵。
在前述的内参矩阵中已描述，所述内参矩阵至少包含有fx、fy、cx、cy， fx、fy分别为x、y方向上的焦距，cx、cy分别为x、y方向上的光心；因此在等效内参矩阵中也需要有一个统一的光心和焦距。以下分别描述光心和焦距的统一步骤。
将全部所述摄像装置的光心统一为等效光心的步骤为：
在图像二维坐标系下构建至少4个点的二维坐标，投影到三维相机系下；
在三维相机系下使用中间内参矩阵进行标定，所述中间内参矩阵为将原来的所述内参矩阵中的焦距替换为焦距均方根值所得到的矩阵；
对标定后的坐标采用所述等效共面矩阵，重新反投影到图像二维坐标系；
得到cxnew,cynew，其中cxnew,cynew分别为x、y方向上的等效光心。
其中，所述焦距均方根值的计算步骤为：
选出每个所述摄像装置的内参矩阵中焦距的最小值f＝min(fx,fy)，其中fx,fy分别为x、y方向上的焦距；每个所述摄像装置的焦距分别记为； f1、f2…fn；
所述fxrms和fyrms分别为x、y方向上的焦距均方根值。
以上的光心是通过标定来获取的，其主要思路为利用光线在光心不发生偏转的特性，将原图像二维坐标系下的4个点，投影至三维相机系下，在三维相机系下使用中间内参矩阵进行标定，所述中间内参矩阵为将原来的所述内参矩阵中的焦距替换为焦距均方根值所得到的矩阵；再通过获取到的共面后的那个等效共面矩阵进行反投影回原图像二维坐标系下，则可以得到等效光心。此处的中间内参矩阵为一个中间量，其中的焦距已经通过焦距均方根统一了，但是其光心还是原来的光心，这里通过4个点在投影过程中的坐标变换关系，得到其坐标未发成改变的点，以此得到等效光心。此处的焦距均方根值实际上已经是等效的焦距了，只是还需要再处理畸变之后进行缩放微调。以下是处理畸变的步骤，主要是去除图像变换后的畸变黑边。
进一步的，在所述根据所述统一投影模型对每个所述摄像装置的成像进行校准的步骤之前，还包括去除畸变黑边的步骤：
取待处理图像中的若干参考点位，所述参考点位分布于待处理图像的边缘上；根据标定算法计算所述参考点位的标准坐标；通过所述标准坐标计算出所述待处理图像的有效像素所构成区域的最大内接矩阵；将所述最大内接矩阵缩放变换至所述待处理图像的相同大小。
图3是本发明一种可选实施方式提供的去除畸变黑边的示意图，如图3 所示：原图像在缩放之后，存在图像上的畸变。此畸变与相机标定中的径向畸变中的枕形畸变类似。为了获取到无畸变的图像，需要将黑边去除，但是在去除黑边之后会存在图像的像素面积的缩小，即比原图小，因此还需要将去除黑边后的图像进行一次缩放处理。
进一步的，所述根据标定算法计算所述参考点位的标准坐标，包括以下步骤：
将所述参考点位的像素坐标点从像素坐标系转换至相机坐标系，得到相机坐标点；将所述相机坐标点进行畸变校正，得到校正后的相机坐标点；将所述校正后的相机坐标点转换至世界坐标系，得到世界坐标点；将所述世界坐标点进行归一化后转换至相机坐标系，再转换至像素坐标系，得到所述参考点位的新的像素坐标点作为所述标准坐标。
以上计算参考点位的标准坐标的方法的思路是：通过坐标系的变化，将参考点位在不同的坐标系下进行调整后，转回至原像素坐标系。其坐标变换的具体方式不在此处详述。
进一步的，所述通过所述标准坐标计算出所述待处理图像的有效像素所构成区域的最大内接矩阵，包括：
在标准坐标下，取所述待处理图像的有效像素中的上边缘线在y方向的最小值，下边缘线在y方向的最大值，左边缘线在x方向的最大值,右边缘线在x方向的最小值，由以上四个值确定所述最大内接矩阵的边缘线，从而确定所述最大内接矩阵。
此处是取最大内接矩阵的方法，如图3所示，图中的外围矩形区域为原图像区域，黑色部分为黑边区域，白色部分为图像区域，此处的取最大内接矩阵，即取白色区域的最大内接矩形。以图像的左下角为原点，根据x方向和y方向的最大值或者最小值进行取值，得到一个最大内接矩阵。
对应的，在去除畸变黑边的步骤之后，已经将图像进行了一次缩放调整，因此需要对原获取到的焦距均方根值进行对应的调整。具体的是，是以图像缩放的比例对应调整焦距均方根值。将全部所述摄像装置的焦距统一为等效焦距的步骤为：
fxrms和fyrms分别乘以缩放系数S得到x、y方向上的等效焦距fxnew 和fynew；所述缩放系数S＝max(待处理图像x方向边长/最大内接矩阵x方向边长，待处理图像y方向边长/最大内接矩阵y方向边长)。
在获取到等效焦距和等效光心之后，即所述得到所述等效内参矩阵，包括：将单个所述摄像装置的内参矩阵中的fx、fy均替换为fxnew和fynew，将cx、cy均替换为cxnew,cynew；得到所述等效内参矩阵。
以下是得到调整矩阵的步骤，所述根据所述统一投影模型对每个所述摄像装置的成像进行校准,包括：
根据所述等效共面矩阵计算每个旋转矩阵需要的旋转调整矩阵,所述旋转调整矩阵用于校准所述摄像装置之间的旋转视差；根据所述等效内参矩阵计算每个内参矩阵需要的缩放调整矩阵,所述缩放调整矩阵用于校准所述摄像装置之间的缩放视差。具前所述，得到的统一投影模型实际上是两个矩阵，等效共面矩阵和等效内参矩阵，分别表示对摄像装置的旋转和缩放。而每个摄像装置自身的参数也包括内参矩阵和外参矩阵(此处主要是旋转矩阵)，因此通过对应矩阵之间的运算即能够得到缩放调整矩阵和旋转调整矩阵。
在本发明的第二方面，还提供一种处理装置，所述处理装置用于所述处理装置被配置成采用前述的视差校准方法对摄像装置进行处理。此处的装置具有数值计算和逻辑运算的功能，其至少具有数据处理能力的中央处理器 CPU、随机存储器RAM、只读存储器ROM、多种I/O口和中断系统等。所述数据处理模块可以例如为单片机、芯片或处理器等常用硬件，更常用的情况下，就是智能终端或者PC的处理器。
在本发明的第三方面，还提供一种多目相机，所述多目相机包括至少两个位置相对固定的摄像装置，所述多目相机包括：图像处理装置，所述图像处理装置被配置成采用前述的视差校准方法对所述摄像装置进行处理。此处的主要是将前述的处理装置运用于多目相机中，使多目相机能够自行处理多个摄像装置之间的成像误差。
进一步的，所述多目相机还包括：通信接口，所述通信接口被配置成将所述图像处理装置处理后的图像传输至所述多目相机外部。此处的通信接口主要用于将经过图像处理装置处理后的图像进行输出。
在本发明的第四方面，还提供一种多摄像头的图像处理系统，所述系统包括：至少两个位置相对固定的摄像装置；处理装置，所述处理装置被配置成采用前述的视差校准方法对所述摄像装置进行处理。本发明的实施方式所提供的方法不仅能够应用于多目相机，还能应用于图像处理系统。该图像处理系统同样包括至少两个位置相对固定的摄像装置，所述摄像装置同样也存在成像差异，会导致成像不一致的问题。摄像装置所获取到的图像传输至处理装置进行处理。此处的处理装置可以使PC机，本方法为PC机上的应用软件。其对应的硬件系统如图4所示：该多光谱相机四摄像头的图像处理系统包括：
图4是本发明一种可选实施方式提供的视差校准系统的结构示意图，如图4所示，该系统包括：四个位置相对固定的摄像装置20；每个摄像装置 20均正对如图7所示的标定板10，系统还包括处理装置30，该处理装置30 被配置成将所述摄像装置采集的图像，按前述的投影模型进行处理。所述系统还包括存储装置40：所述存储装置40被配置成：存储所述投影模型，和\ 或存储经所述处理装置处理后的图像。
图6是本发明一种可选实施方式提供的摄像装置模型示意图；其表示了摄像装置的模型以及坐标点之间的投影关系，以供参考。
在本发明的第五方面，还提供一种机器可读存储介质，所述机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行前述的视差校准方法。
以下通过实际的实验环境进行实际的标定验证：
该实验环境所选取的器件参数如下：本实施方案中，采用4个AR0144 传感器，焦距f＝2.4mm，传感器分辨率：1280(h)*800(v),3um方形象元，各传感器相对基线间距15mm，方案采用的标定板如图7所示，标定过程中采集了18个不同姿态的图像，每幅图像有44个角点坐标，通过优化摄影测量环境，尽量减小外界环境因素的影响，以提高相机投影中心的位置标定精度。
图5是本发明一种可选实施方式提供的多目相机的视差校准方法的流程示意图，其通过图5所述的标定方法，最终其四个摄像头对准标定结果如下所示：
通过上述的实施方式，进行多个摄像头校准标定后，可以使多光谱多目相机通过的新的投影模型，进行校准画面，校准后会使四个摄像头拍摄的画面，达到图像位置和大小一致的效果,便于后期拼图，使光谱数据分析和植被相应指数计算能力大大提高。
以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。
Claims (19)
1.一种多目相机的视差校准方法，所述多目相机包含至少两个位置相对固定的摄像装置，其特征在于，所述方法包括：
标定得出所述多目相机的统一投影模型；
根据所述统一投影模型对每个所述摄像装置的成像进行校准。
2.根据权利要求1所述的方法，其特征在于，所述统一投影模型包括等效共面矩阵和等效内参矩阵。
3.根据权利要求2所述的方法，其特征在于，所述标定得出所述多目相机的统一投影模型，包括：
标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵；
对所述摄像装置进行旋转变换等效以达到全部所述摄像装置的光轴相互平行，得到所述等效共面矩阵；
将全部所述摄像装置的焦距统一为等效焦距以及将全部所述摄像装置的光心统一为等效光心，得到所述等效内参矩阵。
4.根据权利要求3所述的方法，其特征在于，所述标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵，包括：
采用单目标定获取单个所述摄像装置的内参矩阵，所述内参矩阵至少包含有fx、fy、cx、cy，fx、fy分别为x、y方向上的焦距，cx、cy分别为x、y方向上的光心；以及
采用双目标定获取单个所述摄像装置相对于其余摄像装置的位置关系矩阵，所述位置关系矩阵至少包含有旋转矩阵。
5.根据权利要求4所述的方法，其特征在于，所述标定获取每个所述摄像装置的内参矩阵和相对于其余摄像装置的位置关系矩阵的步骤之后，还包括对所述内参矩阵和所述位置关系矩阵进行误差控制的步骤：当所述内参矩阵和所述位置关系矩阵的重投影误差大于设定误差时，重新通过单目标定和/或双目标定进行再次获取，直至其重投影误差小于所述设定误差。
6.根据权利要求4所述的方法，其特征在于，所述得到所述等效共面矩阵，包括：
A、将全部所述旋转矩阵进行处理，轮空旋转矩阵数目置为0；
B、以左右图像的重投影畸变最小或左右视图共同面积最大的原则，将待处理的旋转矩阵以每组两个分为多组；如果旋转矩阵的数目为单数，将有一个旋转矩阵轮空，则将轮空旋转矩阵数目加1；将每组内的两个旋转矩阵进行共面；每组得到一个共面后的旋转矩阵；
C、判断共面后的旋转矩阵数目加上轮空旋转矩阵数目是否为1，为1转步骤D；否则，判断共面后的旋转矩阵数目是否为1，为1则将共面后的旋转矩阵加上最近一轮的轮空旋转矩阵作为待处理的旋转矩阵，重复步骤B，同时将轮空旋转矩阵数目减1；不为1，则将共面后的旋转矩阵作为待处理的旋转矩阵，重复步骤B；
D、将得到的唯一的共面后的旋转矩阵作为等效共面矩阵。
7.根据权利要求4所述的方法，其特征在于，将全部所述摄像装置的光心统一为等效光心的步骤为：
在图像二维坐标系下构建至少4个点的二维坐标，投影到三维相机系下；
在三维相机系下使用中间内参矩阵进行标定，所述中间内参矩阵为将原来的内参矩阵中的焦距替换为焦距均方根值所得到的矩阵；
对标定后的坐标采用所述等效共面矩阵，重新反投影到图像二维坐标系；
得到cxnew,cynew，其中cxnew,cynew分别为x、y方向上的等效光心。
8.根据权利要求7所述的方法，其特征在于，所述焦距均方根值的计算步骤为：
选出每个所述摄像装置的内参矩阵中焦距的最小值f＝min(fx,fy)，其中fx,fy分别为x、y方向上的焦距；每个所述摄像装置的焦距分别记为；f1、f2…fn；
所述fxrms和fyrms分别为x、y方向上的焦距均方根值。
9.根据权利要求8所述的方法，其特征在于，在所述根据所述统一投影模型对每个所述摄像装置的成像进行校准的步骤之前，还包括去除畸变黑边的步骤：
取待处理图像中的若干参考点位，所述参考点位分布于待处理图像的边缘上；
根据标定算法计算所述参考点位的标准坐标；
通过所述标准坐标计算出所述待处理图像的有效像素所构成区域的最大内接矩阵；
将所述最大内接矩阵缩放变换至所述待处理图像的相同大小。
10.根据权利要求9所述的方法，其特征在于，所述根据标定算法计算所述参考点位的标准坐标，包括以下步骤：
将所述参考点位的像素坐标点从像素坐标系转换至相机坐标系，得到相机坐标点；
将所述相机坐标点进行畸变校正，得到校正后的相机坐标点；
将所述校正后的相机坐标点转换至世界坐标系，得到世界坐标点；
将所述世界坐标点进行归一化后转换至相机坐标系，再转换至像素坐标系，得到所述参考点位的新的像素坐标点作为所述标准坐标。
11.根据权利要求9所述的方法，其特征在于，所述通过所述标准坐标计算出所述待处理图像的有效像素所构成区域的最大内接矩阵，包括：
在标准坐标下，取所述待处理图像的有效像素中的上边缘线在y方向的最小值，下边缘线在y方向的最大值，左边缘线在x方向的最大值,右边缘线在x方向的最小值，由以上四个值确定所述最大内接矩阵的边缘线，从而确定所述最大内接矩阵。
12.根据权利要求11所述的方法，其特征在于，将全部所述摄像装置的焦距统一为等效焦距的步骤为：
fxrms和fyrms分别乘以缩放系数S得到x、y方向上的等效焦距fxnew和fynew；所述缩放系数S＝max(待处理图像x方向边长/最大内接矩阵x方向边长，待处理图像y方向边长/最大内接矩阵y方向边长)。
13.根据权利要求12所述的方法，其特征在于，所述得到所述等效内参矩阵，包括：
将单个所述摄像装置的内参矩阵中的fx、fy均替换为fxnew和fynew，
将cx、cy均替换为cxnew,cynew；
得到所述等效内参矩阵。
14.根据权利要求13所述的方法，其特征在于，所述根据所述统一投影模型对每个所述摄像装置的成像进行校准,包括：
根据所述等效共面矩阵计算每个旋转矩阵需要的旋转调整矩阵,所述旋转调整矩阵用于校准所述摄像装置之间的旋转视差；
根据所述等效内参矩阵计算每个内参矩阵需要的缩放调整矩阵,所述缩放调整矩阵用于校准所述摄像装置之间的缩放视差。
15.一种处理装置，其特征在于，所述处理装置被配置成采用权利要求1至14中任一项所述的视差校准方法对摄像装置进行处理。
16.一种多目相机，所述多目相机包括至少两个位置相对固定的摄像装置，其特征在于，所述多目相机包括：
图像处理装置，所述图像处理装置被配置成采用权利要求1至14中任一项所述的视差校准方法对所述摄像装置进行处理。
17.根据权利要求16所述的多目相机，其特征在于，所述多目相机还包括：
通信接口，所述通信接口被配置成将所述图像处理装置处理后的图像传输至所述多目相机外部。
18.一种多摄像头的图像处理系统，其特征在于，所述系统包括：
至少两个位置相对固定的摄像装置；
处理装置，所述处理装置被配置成采用权利要求1至14中任一项所述的视差校准方法对所述摄像装置进行处理。
19.一种机器可读存储介质，其特征在于，所述机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行权利要求1至14中任一项所述的视差校准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910294175.0A CN110136205B (zh) | 2019-04-12 | 2019-04-12 | 多目相机的视差校准方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910294175.0A CN110136205B (zh) | 2019-04-12 | 2019-04-12 | 多目相机的视差校准方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110136205A true CN110136205A (zh) | 2019-08-16 |
| CN110136205B CN110136205B (zh) | 2021-07-20 |
Family
ID=67569904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910294175.0A Active CN110136205B (zh) | 2019-04-12 | 2019-04-12 | 多目相机的视差校准方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136205B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110779933A (zh) * | 2019-11-12 | 2020-02-11 | 广东省智能机器人研究院 | 基于3d视觉传感阵列的表面点云数据获取方法和系统 |
| CN112504263A (zh) * | 2020-11-24 | 2021-03-16 | 北京交通大学 | 基于多目视觉的室内导航定位装置及其定位方法 |
| CN112995528A (zh) * | 2021-05-06 | 2021-06-18 | 中国工程物理研究院流体物理研究所 | 一种光电分幅相机通道间图像配准装置、系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105205824A (zh) * | 2015-09-25 | 2015-12-30 | 北京航空航天大学 | 基于高精度辅助相机和球靶标的多摄像机全局校准方法 |
| WO2018112770A1 (zh) * | 2016-12-21 | 2018-06-28 | 北京工业大学 | 多轴机械系统与视觉监视相结合的3d打印方法与装置 |
| CN108257183A (zh) * | 2017-12-20 | 2018-07-06 | 歌尔科技有限公司 | 一种相机镜头光轴校准方法和装置 |
| CN108469254A (zh) * | 2018-03-21 | 2018-08-31 | 南昌航空大学 | 一种适用于仰视和俯视位姿的大视场多视觉视频测量系统全局标定方法 |
-
2019
- 2019-04-12 CN CN201910294175.0A patent/CN110136205B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105205824A (zh) * | 2015-09-25 | 2015-12-30 | 北京航空航天大学 | 基于高精度辅助相机和球靶标的多摄像机全局校准方法 |
| WO2018112770A1 (zh) * | 2016-12-21 | 2018-06-28 | 北京工业大学 | 多轴机械系统与视觉监视相结合的3d打印方法与装置 |
| CN108257183A (zh) * | 2017-12-20 | 2018-07-06 | 歌尔科技有限公司 | 一种相机镜头光轴校准方法和装置 |
| CN108469254A (zh) * | 2018-03-21 | 2018-08-31 | 南昌航空大学 | 一种适用于仰视和俯视位姿的大视场多视觉视频测量系统全局标定方法 |
Non-Patent Citations (2)
| Title |
|---|
| LIU PENG 等: "A Camera Calibration Method Based on Genetic Algorithm", 《7TH INTERNATIONAL CONFERENCE ON INTELLIGENT HUMAN-MACHINE SYSTEMS AND CYBERNETICS (IHMSC)》 * |
| 楚圣辉 等: "大场景下多目立体视觉标定方法的研究", 《现代计算机(专业版)》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110779933A (zh) * | 2019-11-12 | 2020-02-11 | 广东省智能机器人研究院 | 基于3d视觉传感阵列的表面点云数据获取方法和系统 |
| CN112504263A (zh) * | 2020-11-24 | 2021-03-16 | 北京交通大学 | 基于多目视觉的室内导航定位装置及其定位方法 |
| CN112995528A (zh) * | 2021-05-06 | 2021-06-18 | 中国工程物理研究院流体物理研究所 | 一种光电分幅相机通道间图像配准装置、系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110136205B (zh) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11272161B2 (en) | System and methods for calibration of an array camera | |
| CN105488810B (zh) | 一种聚焦光场相机内外参数标定方法 | |
| US20230345135A1 (en) | Method, apparatus, and device for processing images, and storage medium | |
| CN108257183B (zh) | 一种相机镜头光轴校准方法和装置 | |
| CN109754426B (zh) | 一种用于摄像标定参数验证的方法、系统和装置 | |
| CN106846409B (zh) | 鱼眼相机的标定方法及装置 | |
| CN101908231B (zh) | 处理含有主平面场景的三维点云重建方法和系统 | |
| CN108564617A (zh) | 多目相机的三维重建方法、装置、vr相机和全景相机 | |
| CN110136205A (zh) | 多目相机的视差校准方法、装置及系统 | |
| CN104089628B (zh) | 光场相机的自适应几何定标方法 | |
| CN104778656B (zh) | 基于球面透视投影的鱼眼图像校正方法 | |
| CN112070845A (zh) | 双目相机的标定方法、装置及终端设备 | |
| CN108038886A (zh) | 双目摄像系统标定方法、装置及其汽车 | |
| CN113329179B (zh) | 拍摄对位方法、装置、设备及存储介质 | |
| CN108053375A (zh) | 图像数据修正方法、装置及其汽车 | |
| CN115457147A (zh) | 相机标定方法、电子设备及存储介质 | |
| CN116188594B (zh) | 沙姆相机的标定方法、标定系统、装置和电子设备 | |
| CN112365421A (zh) | 图像矫正处理方法及装置 | |
| CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN114998447A (zh) | 多目视觉标定方法及系统 | |
| CN112258581B (zh) | 一种多鱼眼镜头全景相机的现场标定方法 | |
| CN112446926A (zh) | 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置 | |
| CN112419424A (zh) | 一种枪球联动标定方法、装置及相关设备 | |
| CN116777769A (zh) | 畸变图像的校正方法及装置、电子设备、存储介质 | |
| CN113870364B (zh) | 一种自适应的双目相机标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province Applicant after: XAG Co., Ltd. Address before: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province Applicant before: Guangzhou Xaircraft Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |