CN108154538A - 一种双摄像机模组校正和标定方法及装置 - Google Patents
一种双摄像机模组校正和标定方法及装置 Download PDFInfo
- Publication number
- CN108154538A CN108154538A CN201810114589.6A CN201810114589A CN108154538A CN 108154538 A CN108154538 A CN 108154538A CN 201810114589 A CN201810114589 A CN 201810114589A CN 108154538 A CN108154538 A CN 108154538A
- Authority
- CN
- China
- Prior art keywords
- video camera
- image
- point
- camera
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012937 correction Methods 0.000 title claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 238000009738 saturating Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 12
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000001105 regulatory effect Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种双摄像机模组校正和标定方法及装置，方法包括：通过第一摄像机以及第二摄像机分别拍摄包括目标三维模板上的特征点的第一图像和第二图像；根据第一图像以及第二图像中的特征点的世界坐标、第一摄像机以及第二摄像机的像素坐标，分别得到第一摄像机及第二摄像机的内参数和外参数，完成标定操作；根据第一摄像机的外参数及第二摄像机的外参数得到第二摄像机的六个自由度的调整量，以对第二摄像机进行位姿调节，以使第二摄像机与第一摄像机的位姿一致，完成位姿校正操作。采用本发明方法进行双摄像机模组的校正和标定，只需一道工序、一套装置，即可完成传统的两道工序、两套装置的工艺操作，缩短了工艺时间，降低了设备成本。
Description
技术领域
本发明属于双摄像机模组生产的封装领域，更具体地，涉及一种双摄像机模组封装的校正工艺和标定工艺的方法及装置。
背景技术
传统的双摄像机模组的封装制作流程中，存在两道工序，一道称为校正的工艺，任务是先上胶固定一个摄像机在模组框架中，调节第二个摄像机位姿，使得两个摄像机的位姿一致，即光轴平行，主点位于同一根基准线上，然后再点胶固定第二个摄像机；另一道称为标定工艺，任务是标定两个摄像机的内参数和两个摄像机之间的位姿参数。两道工序需要两套装置。
现有的双摄像机模组的位姿校正方法，大多要借助于外部辅助测量设备来校正，比如利用激光、红外测距仪、万工显、全站仪、视觉摄像机，校正装置的设备成本和体积较大，校正操作复杂，校正时间较长。现有的双摄像机模组标定装置，大多需要拍摄多幅图像，计算比较复杂、用时较长，在实际生产工艺中会增加机械结构的复杂度、降低生产效率。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种双摄像机模组校正和标定方法及装置，仅需一道工序、双摄像机各拍摄一幅图像即可完成校正和标定两项操作，不需要两道工序，简化了工艺流程；不需要借助辅助测量仪器，不需要拍摄多幅图像，简化了装置的机械结构。由此减少了工艺时间，降低了设备成本。
为实现上述目的，按照本发明的一个方面，提供了一种双摄像机模组校正和标定方法，其中，所述双摄像机模组中包括第一摄像机和第二摄像机，所述第一摄像机为基准摄像机，所述第二摄像机为位姿待调摄像机，所述方法包括：
(1)通过所述第一摄像机拍摄包括目标三维模板上的特征点的第一图像，通过所述第二摄像机拍摄包括所述目标三维模板上的特征点的第二图像；
(2)根据所述第一图像中的特征点的世界坐标、所述第二图像中的特征点的世界坐标、所述第一摄像机的像素坐标以及所述第二摄像机的像素坐标，分别得到所述第一摄像机以及所述第二摄像机的内参数和外参数，完成所述双摄像机模组的标定操作；
(3)根据所述第一摄像机的外参数以及所述第二摄像机的外参数得到所述第二摄像机的六个自由度的调整量；
(4)根据所述第二摄像机的六个自由度的调整量，对所述第二摄像机进行位姿调节，以使所述第二摄像机与所述第一摄像机的位姿一致，完成所述双摄像机模组的位姿校正操作。
优选地，步骤(2)包括：
(2.1)由确定一阶径向畸变系数，其中，xu与yu为理想成像点坐标，xd与yd为实际成像点坐标，kx与ky分别为x、y两个坐标方向的径向畸变系数，r为实际成像点到像平面中心的极径，且
(2.2)由确定在所述目标三维模板上的4个特征点的交比，其中，(X1，Y1，Z1)为第一特征点的世界坐标，(X2，Y2，Z2)为第二特征点的世界坐标，(X3，Y3，Z3)为第三特征点的世界坐标，(X4，Y4，Z4)为第四特征点的世界坐标；
(2.3)由确定4个特征点在像平面上理想成像点的交比，其中，(x1，y1)为所述第一特征点在像平面上的第一理想成像点的坐标，(x2，y2)为所述第二特征点在像平面上的第二理想成像点的坐标，(x3，y3)为所述第三特征点在像平面上的第三理想成像点的坐标，(x4，y4)为所述第四特征点在像平面上的第四理想成像点的坐标；
(2.4)基于交比不变定理，通过JX＝jx以及JY＝jy求取径向畸变系数kx与ky；
(2.5)由径向畸变系数kx与ky，将像平面上的实际成像点坐标转换成理想成像点坐标，然后利用摄像机线性成像模型得到所述第一摄像机以及所述第二摄像机的内参数和外参数，完成所述双摄像机模组的标定操作。
优选地，步骤(2.5)包括：
(2.5.1)由径向畸变系数kx与ky，将像平面上的实际成像点坐标转换成理想成像点坐标，分别得到所述第一图像和所述第二图像中的若干个特征点的像素坐标；
(2.5.2)根据所述第一图像中若干个特征点的世界坐标以及与所述第一图像中选取的特征点对应的像素坐标，所述第二图像中若干个特征点的世界坐标以及与所述第二图像中选取的特征点对应的像素坐标，由得到所述第一摄像机以及所述第二摄像机的内参数和外参数，完成所述双摄像机模组的标定操作，其中，(x,y)为特征点在图像坐标系中的坐标，(u0,v0)为主点在像素坐标系中的坐标，ZC为特征点在世界坐标系下的z方向的坐标，dx与dy分别表示特征点在x轴、y轴的物理尺寸，(XW,YW,ZW)为特征点在世界坐标系中的坐标，f为摄像机的焦距，R为单位旋转矩阵，t为平移矩阵。
优选地，步骤(3)包括：
由分别得到所述第二摄像机在各自由度的调节量R和t，根据各自由度的调节量R和t，对所述第二摄像机进行位姿调节，其中，Rl与tl表示所述第一摄像机的外参数，Rr与tr表示所述第二摄像机的外参数。
优选地，所述目标三维模板包括平行放置的第一平面模板与第二平面模板。
优选地，在所述第一平面模板上存在若干个空心特征圆和若干个特征点，在所述第二平面模板上存在若干个特征点，其中，所述第一摄像机与所述第二摄像机能够透过所述第一平面模板上的各空心特征圆拍摄到所述第二平面模板上的特征点。
优选地，所述第一摄像机与所述第二摄像机能够透过所述第一平面模板上的各空心特征圆拍摄到所述第二平面模板上的部分特征点。
优选地，所述第一平面模板上的各特征点的中心和各空心特征圆的圆心以及所述第二平面模板上的各特征点的中心，均在世界坐标系中具有确定的坐标值。
按照本发明的另一方面，提供了一种双摄像机模组校正和标定装置，其中，所述双摄像机模组中包括第一摄像机和第二摄像机，所述第一摄像机为基准摄像机，所述第二摄像机为位姿待调摄像机，所述装置包括：目标三维模板、控制模块以及六自由度调节模块；
所述第一摄像机，用于拍摄包括所述目标三维模板上的特征点的第一图像；
所述第二摄像机，用于拍摄包括所述目标三维模板上的特征点的第二图像；
所述控制模块，用于根据所述第一图像中的特征点的世界坐标、所述第二图像中的特征点的世界坐标、所述第一摄像机的像素坐标以及所述第二摄像机的像素坐标，分别得到所述第一摄像机以及所述第二摄像机的内参数和外参数，完成所述双摄像机模组的标定操作；
所述控制模块，还用于根据所述第一摄像机的外参数以及所述第二摄像机的外参数，计算得到所述第二摄像机的六个自由度的调整量；并根据所述第二摄像机的六个自由度的调整量，控制所述六自由度调节模块进行六自由度调节；
所述六自由度调节模块为所述控制模块的执行机构，与所述第二摄像机通过夹具连接，根据所述控制模块的控制指令调节六个自由度，以实现对所述第二摄像机进行位姿调节，使所述第二摄像机与所述第一摄像机的位姿一致，完成所述双摄像机模组的位姿校正操作。
优选地，所述目标三维模板包括平行放置的第一平面模板与第二平面模板，在所述第一平面模板上存在若干个空心特征圆和若干个特征点，在所述第二平面模板上存在若干个特征点，其中，所述第一摄像机与所述第二摄像机能够透过所述第一平面模板上的各空心特征圆拍摄到所述第二平面模板上的特征点。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：采用三维模板的设计和一体化算法，不需其他辅助测距设备即可完成双摄像机的校正操作；利用本发明，双摄像机各拍一幅图像即可完成双摄模组的标定操作，操作简单，简化了标定机械的结构；利用两个摄像机的标定结果进行双摄像机模组的位姿校正，算法简单，计算速度快；采用本发明方法进行双摄像机模组的校正和标定，只需一道工序、一套装置即可完成传统的两道工序、两套装置的操作，缩短了工艺时间，提高了工艺效率，降低了设备成本。
附图说明
图1是本发明实施例提供的一种双摄像机模组校正和标定方法的流程示意图；
图2是本发明实施例提供的一种目标三维模板的结构示意图；
图3是本发明实施例提供的一种摄像机成像非线性模型示意图；
图4是本发明实施例提供的一种摄像机成像线性模型示意图；
图5是本发明实施例提供的一种两个摄像机之间的位姿关系示意图；
图6是本发明实施例提供的一种双摄像机模组校正和标定装置的示意图；
图7是本发明实施例提供的一种模板样式及与双摄像机模组的关系示意图；
图8是本发明实施例提供的一种待调摄像机位姿控制系统图；
图9是本发明实施例提供的一种BP神经网络算法模型拓扑结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明公开了一种双摄像机模组校正和标定方法及装置，可以利用双摄像机模组自身拍摄的图像，无需额外的视觉摄像机或测距设备，仅需一道工序、双摄像机的单幅图像即可进行双摄像机模组的校正和标定，减少了工艺时间，简化了装置的结构，降低了装置的制造成本。
本发明首先利用三维模板上的特征点，双摄像机分别拍摄一幅图像，然后根据特征点的世界坐标和各摄像机的像素坐标，分别计算出双摄像机的内参数和外参数，完成双摄像机模组的标定操作，然后根据双摄像机的内参数和外参数计算出待调摄像机的六个自由度的调整量，自动控制运动系统对待调摄像机进行位姿调节，使得待调摄像机和基准摄像机的位姿参数一致，完成双摄模组的校正操作。
如图1所示为本发明实施例公开的一种双摄像机模组校正和标定方法的流程示意图，其中，双摄像机模组中包括第一摄像机和第二摄像机，第一摄像机为基准摄像机，第二摄像机为位姿待调摄像机，该方法包括：
(1)通过第一摄像机拍摄包括目标三维模板上的特征点的第一图像，通过第二摄像机拍摄包括目标三维模板上的特征点的第二图像；
在本发明实施例中，如图2所示，目标三维模板包括平行放置的第一平面模板与第二平面模板；在第一平面模板上存在若干个空心特征圆和若干个特征点，在第二平面模板上存在若干个特征点，其中，第一摄像机与第二摄像机能够透过第一平面模板上的各空心特征圆拍摄到第二平面模板上的特征点。
其中，特征圆和特征点的数量分别不少于5个，实际数量的多少可以根据实际需要进行确定，本发明实施例不做唯一性限定。
其中，第一摄像机与第二摄像机能够透过第一平面模板上的各空心特征圆拍摄到第二平面模板上的部分特征点。
其中，第一平面模板上的各特征点的中心和各空心特征圆的圆心以及第二平面模板上的各特征点的中心，均在世界坐标系中具有确定的坐标值。
(2)根据第一图像中的特征点的世界坐标、第二图像中的特征点的世界坐标、第一摄像机的像素坐标以及第二摄像机的像素坐标，分别得到第一摄像机以及第二摄像机的内参数和外参数，完成双摄像机模组的标定操作；
在本发明实施例中，步骤(2)的实现过程具体包括：
(2.1)由确定一阶径向畸变系数，其中，xu与yu为理想成像点坐标，xd与yd为实际成像点坐标，kx与ky分别为x、y两个坐标方向的径向畸变系数，r为实际成像点到像平面中心的极径，且
由于摄像机生产过程中的材料和加工精度的原因，实际的成像点pd(xd,yd)并不在理想成像点pu(xu,yu)上，存在一定的畸变，如图3所示。
一般将成像畸变分为径向畸变、切向畸变和薄棱镜畸变三种类型，其中，切向畸变和薄棱镜畸变所引起的误差总和大约为径向畸变的1/7～1/8，引入过多非线性参数进行摄像机标定，不仅不能提高精度，反而容易引起解的不稳定。因此在本发明实施例中仅考虑径向畸变系数。
(2.2)由确定在目标三维模板上的4个特征点的交比，其中，(X1，Y1，Z1)为第一特征点的世界坐标，(X2，Y2，Z2)为第二特征点的世界坐标，(X3，Y3，Z3)为第三特征点的世界坐标，(X4，Y4，Z4)为第四特征点的世界坐标；
(2.3)由确定4个特征点在像平面上理想成像点的交比，其中，(x1，y1)为第一特征点在像平面上的第一理想成像点的坐标，(x2，y2)为第二特征点在像平面上的第二理想成像点的坐标，(x3，y3)为第三特征点在像平面上的第三理想成像点的坐标，(x4，y4)为第四特征点在像平面上的第四理想成像点的坐标；
(2.4)基于交比不变定理，通过JX＝jx以及JY＝jy由公式(1)、(2)和(3)求取径向畸变系数kx与ky；
(2.5)由径向畸变系数kx与ky，将像平面上的实际成像点坐标转换成理想成像点坐标，然后利用摄像机线性成像模型得到第一摄像机以及第二摄像机的内参数和外参数，完成双摄像机模组的标定操作。
在本发明实施例中，步骤(2.5)的实现过程具体包括：
(2.5.1)由径向畸变系数kx与ky，将像平面上的实际成像点坐标转换成理想成像点坐标，分别得到第一图像和第二图像中的若干个特征点的像素坐标；
(2.5.2)根据第一图像中若干个特征点的世界坐标以及与第一图像中选取的特征点对应的像素坐标，第二图像中若干个特征点的世界坐标以及与第二图像中选取的特征点对应的像素坐标，由得到第一摄像机以及第二摄像机的内参数和外参数，完成双摄像机模组的标定操作，其中，(x,y)为特征点在图像坐标系中的坐标，(u0,v0)为主点在像素坐标系中的坐标，ZC为特征点在世界坐标系下的z方向的坐标，dx与dy分别表示特征点在x轴、y轴的物理尺寸，(XW,YW,ZW)为特征点在世界坐标系中的坐标，f为摄像机的焦距，R为单位旋转矩阵，t为平移矩阵。
在本发明实施例中，理想摄像机线性成像模型如图4所示，包括世界坐标系、摄像机坐标系、图像坐标系和像素坐标系。由于像素坐标系、图像坐标系都可以转换到摄像机坐标系中，因此摄像机的标定，就是求取世界坐标系与摄像机坐标系之间的关系。
1)像素坐标向像平面坐标的转换
设像素点在x轴、y轴的物理尺寸分别为dx、dy，则图像坐标系与像素坐标系之间的转换关系为：
运用齐次坐标的矩阵表示为：
2)摄像机坐标向像平面坐标的转换
设摄像机的焦距为f，图像坐标系与摄像机坐标系之间的转换关系为：
用齐次坐标的矩阵表示为：
3)摄像机坐标系与世界坐标系的关系
摄像机坐标系与世界坐标系之间的转换关系为：
式中R为单位旋转矩阵，t为平移矩阵，两者均为待求矩阵。
4)摄像机的标定
综合上述(6)、(8)、(9)式可得到式(4)。
在式(4)中R为3×3单位矩阵，可以归一化为3个待求参数，平移矩阵t中有3个待求参数，再加上f、u0、v0，共有9个待求未知参数。在空间中取不少于9个特征点，根据每个特征点的像素坐标和世界坐标值，分别代入式(4)中得到一个超定方程组，然后采用最小二乘法解此超定方程组即可求出9个待求参数，从而得到摄像机标定的全部内参数和外参数。
(3)根据第一摄像机的外参数以及第二摄像机的外参数得到第二摄像机的六个自由度的调整量；
在本发明实施例中，步骤(3)的实现过程具体包括：
由分别得到第二摄像机在各自由度的调节量R和t，根据各自由度的调节量R和t，对第二摄像机进行位姿调节，其中，Rl与tl表示第一摄像机的外参数，Rr与tr表示第二摄像机的外参数。
在本发明实施例中，双摄像机模组封装过程中，需要先上胶固定一个摄像机(第一摄像机或者左摄像机)，然后调节第二个摄像机(第二摄像机或右摄像机)，使得两个摄像机的光轴平行，主点位于同一根基准线上，再点胶固定右摄像机。双摄像机校正的原理如图5所示，两个摄像机的位姿关系即为两个坐标系之间的位姿关系，右摄像机通过夹具连接在六自由度调节模块上，控制模块通过六自由度调节模块调节在三个坐标轴上的旋转量和偏移量，来实现右摄像机的位姿校正。
设按上述标定方法得到的两个摄像机的外参数分别为Rl、tl、Rr、tr，空间中任意点P在世界坐标系下的坐标用非齐次坐标表示为Pw，P点在两个像平面上的成像坐标用非齐次坐标分别表示为pl、pr，则：
将(11)式中的Pw消去，得到：
因此可得右摄像机的调节量R和t为式(10)，按(10)式求得的调节量，对右摄像机进行调节，即可完成双摄像机位姿的校正操作。
完成校正操作后，用双摄像机分别对目标三维模板拍一幅图像，再利用(4)式对双摄像机模组的外参数标定一次，最后利用(10)式可得到双摄模组校正后的标定外参数。
作为一种可选的实施方式，可以通过BP神经网络得到第二摄像机的六自由度调节量。此时采用的目标模板如图7所示，上面标记了两组特征点，在两个摄像机中各取一组成像点坐标。
在目标模板的成对的特征点中，左边的特征点作为左摄像机的特征点，右边的特征点作为右摄像机的特征点，位姿对应的两种特征点之间的间距，等于摄像机之间的间距。右摄像机通过夹具连接在6自由度调节模块上，控制模块根据调节量指令六自由度调节模块调节6个自由度，使得两个摄像机上的9个特征点的坐标相同(误差符合要求)，两个摄像机即为一致。
基于上述原理，设计的右摄像机位姿控制系统如图8所示。对于目标模板中的特征点对n，设其在左、右摄像机的像平面成像点的非齐次坐标矩阵为fl(n)、fr(n)。以fl(n)为控制器的基准信号，以fr(n)为控制器的反馈输入信号，以两者的误差Δf＝fl(n)-fr(n)作为改进BP神经网络的输入信号，改进BP神经网络输出信号为六自由度调节量θx、θy、θz和Δx、Δy、Δz。
由于传统的BP神经网络存在易陷入局部极小点、收敛速度较慢等缺点，为此在本发明实施例中，采用遗传算法(Genetic Algorithm，GA)对BP网络进行优化，得到改进BP神经网络。由改进BP神经网络经过对输入信号和输出信号的自学习过程进行网络训练，确定网络的权重系数和阈值系数。训练完成的神经网络即可用于右摄像机的校正。
根据GA优化BP神经网络的算法原理，按双摄像机校正的实际情况进行具体神经网络模型设计，然后获取网络训练所需的样本数据集并设计出网络模型所需的参数，才能进行网络的训练和计算，具体包括：
1)输入输出向量
在图9所示的神经网络中，以双摄像机的像素坐标构建输入向量，则共有36个输入参数，输入向量为：
X＝(xl1,xl2,…,xl9,yl1,yl2,…,yl9,xr1,xr2,...,xr9,yxr1,yr2,...,yr9)T
以需调节的6个自由度参数作为输出变量，得到输出向量为：
O＝(θx,θy,θz,Δx,Δy,Δz)T
从标准状态开始，随机调节6个自由度M次使右摄像机处于M种位姿状态，记录每种状态下的θx,θy,θz,Δx,Δy,Δz值，作为输出期望值；同时记录每次在两个像素坐标系中测得的各特征点成像坐标值，作为输入参数。由此可得到包含M组数据的数据库，随机选取其中的N组数据作为训练样本数据集，用于训练GA优化BP神经网络；剩下M-N组作为测试样本数据集，用于测试验证训练好的神经网络，优选，M为500，N为450。
2)数据的标准化
原始数据的量值相差很大，量纲也互不相同，为了便于进行计算，需要对原始数据进行标准化处理。由于BP神经网络使用的S型激励函数，对0到1之间的数据才会敏感，因此在本发明实施例中采用线性函数转换法，将所有数据映射到(0,1)区间内，计算方法如下：
其中，x、x′为转换前、后的值，xmax、xmin为样本中的最大值和最小值。式中的α为常数，是为了避免出现x′＝1的情况而设定的，优选为α＝0.001。
建立好数据库样本集后，必须先对BP神经网络的各项参数进行设计，然后才能利用样本集进行网络训练。网络参数的设计，主要包括：
1)网络层数
实际使用中，只要隐含层神经元的个数足够多，三层的神经网络可以逼近任何有理函数，增加层数虽然可以进一部减小误差，但是也会使网络更加复杂，增加网络的学习时间，同时增加网络的不稳定性。为减少训练计算工作量，同时提高计算速度，在本发明实施例中采用三层的BP神经网络。
2)隐含层节点
隐含层节点数与求解问题的要求、输入输出单元数有直接的关系，对神经网络的性能存在一定的影响。隐含层节点数过少，不足以反映训练样本规律，容错性较差、识别能力较低；隐层节点数过多，会增加网络训练时间，降低泛化能力。隐含层节点数往往根据实际经验并结合实际试验结果来确定。在本发明实施例中由确定隐含层节点数。
其中，l为输入节点数，等于特征参数的数量；n为输出节点数量，等于需调节参数的数量。在本发明实施例中，l＝36，n＝6，在本发明实施例中，优选m＝17，同时设定学习率优选为0.01，学习目标优选为0.001。
根据目标模板上的特征点在双摄像机上的成像坐标，基于GA优化BP神经网络进行双摄像机之间的位姿校正，测量步骤简单，不需要外部测量设备，不需要标定摄像机的参数，对目标模板没有苛刻的精度要求，节省了校正装置的设备成本。能够一次性得到需要调节的六个自由度，从而一次性将六个自由度调节到位，不需要反复测量计算并反复调节。计算和调节的时间较短，有利于提高生产效率。
(4)根据第二摄像机的六个自由度的调整量，对第二摄像机进行位姿调节，以使第二摄像机与第一摄像机的位姿一致，完成双摄像机模组的位姿校正操作。
如图6所示，本发明提供了一种双摄像机模组校正和标定的装置，其中，双摄像机模组中包括第一摄像机和第二摄像机，第一摄像机为基准摄像机，第二摄像机为位姿待调摄像机，该装置包括：目标三维模板、控制模块以及六自由度调节模块；
第一摄像机，用于拍摄包括目标三维模板上的特征点的第一图像；
第二摄像机，用于拍摄包括目标三维模板上的特征点的第二图像；
控制模块，用于根据第一图像中的特征点的世界坐标、第二图像中的特征点的世界坐标、第一摄像机的像素坐标以及第二摄像机的像素坐标，分别得到第一摄像机以及第二摄像机的内参数和外参数，完成双摄像机模组的标定操作；
控制模块，还用于根据第一摄像机的外参数以及第二摄像机的外参数，计算得到第二摄像机的六个自由度的调整量；并根据第二摄像机的六个自由度的调整量，控制六自由度调节模块进行六自由度调节；
六自由度调节模块为控制模块的执行机构，与第二摄像机通过夹具连接，根据控制器指令调节六个自由度，以实现对第二摄像机进行位姿调节，使第二摄像机与第一摄像机的位姿一致，完成双摄像机模组的位姿校正操作。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种双摄像机模组校正和标定方法，其中，所述双摄像机模组中包括第一摄像机和第二摄像机，所述第一摄像机为基准摄像机，所述第二摄像机为位姿待调摄像机，其特征在于，所述方法包括：
(1)通过所述第一摄像机拍摄包括目标三维模板上的特征点的第一图像，通过所述第二摄像机拍摄包括所述目标三维模板上的特征点的第二图像；
(2)根据所述第一图像中的特征点的世界坐标、所述第二图像中的特征点的世界坐标、所述第一摄像机的像素坐标以及所述第二摄像机的像素坐标，分别得到所述第一摄像机以及所述第二摄像机的内参数和外参数，完成所述双摄像机模组的标定操作；
(3)根据所述第一摄像机的外参数以及所述第二摄像机的外参数得到所述第二摄像机的六个自由度的调整量；
(4)根据所述第二摄像机的六个自由度的调整量，对所述第二摄像机进行位姿调节，以使所述第二摄像机与所述第一摄像机的位姿一致，完成所述双摄像机模组的位姿校正操作。
2.根据权利要求1所述的方法，其特征在于，步骤(2)包括：
(2.1)由确定一阶径向畸变系数，其中，xu与yu为理想成像点坐标，xd与yd为实际成像点坐标，kx与ky分别为x、y两个坐标方向的径向畸变系数，r为实际成像点到像平面中心的极径，且
(2.2)由确定在所述目标三维模板上的4个特征点的交比，其中，(X1，Y1，Z1)为第一特征点的世界坐标，(X2，Y2，Z2)为第二特征点的世界坐标，(X3，Y3，Z3)为第三特征点的世界坐标，(X4，Y4，Z4)为第四特征点的世界坐标；
(2.3)由确定4个特征点在像平面上理想成像点的交比，其中，(x1，y1)为所述第一特征点在像平面上的第一理想成像点的坐标，(x2，y2)为所述第二特征点在像平面上的第二理想成像点的坐标，(x3，y3)为所述第三特征点在像平面上的第三理想成像点的坐标，(x4，y4)为所述第四特征点在像平面上的第四理想成像点的坐标；
(2.4)基于交比不变定理，通过JX＝jx以及JY＝jy求取径向畸变系数kx与ky；
(2.5)由径向畸变系数kx与ky，将像平面上的实际成像点坐标转换成理想成像点坐标，然后利用摄像机线性成像模型得到所述第一摄像机以及所述第二摄像机的内参数和外参数，完成所述双摄像机模组的标定操作。
3.根据权利要求2所述的方法，其特征在于，步骤(2.5)包括：
(2.5.1)由径向畸变系数kx与ky，将像平面上的实际成像点坐标转换成理想成像点坐标，分别得到所述第一图像和所述第二图像中的若干个特征点的像素坐标；
(2.5.2)根据所述第一图像中若干个特征点的世界坐标以及与所述第一图像中选取的特征点对应的像素坐标，所述第二图像中若干个特征点的世界坐标以及与所述第二图像中选取的特征点对应的像素坐标，由得到所述第一摄像机以及所述第二摄像机的内参数和外参数，完成所述双摄像机模组的标定操作，其中，(x,y)为特征点在图像坐标系中的坐标，(u0,v0)为主点在像素坐标系中的坐标，ZC为特征点在世界坐标系下的z方向的坐标，dx与dy分别表示特征点在x轴、y轴的物理尺寸，(XW,YW,ZW)为特征点在世界坐标系中的坐标，f为摄像机的焦距，R为单位旋转矩阵，t为平移矩阵。
4.根据权利要求3所述的方法，其特征在于，步骤(3)包括：
由分别得到所述第二摄像机在各自由度的调节量R和t，根据各自由度的调节量R和t，对所述第二摄像机进行位姿调节，其中，Rl与tl表示所述第一摄像机的外参数，Rr与tr表示所述第二摄像机的外参数。
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述目标三维模板包括平行放置的第一平面模板与第二平面模板。
6.根据权利要求5所述的方法，其特征在于，在所述第一平面模板上存在若干个空心特征圆和若干个特征点，在所述第二平面模板上存在若干个特征点，其中，所述第一摄像机与所述第二摄像机能够透过所述第一平面模板上的各空心特征圆拍摄到所述第二平面模板上的特征点。
7.根据权利要求6所述的方法，其特征在于，所述第一摄像机与所述第二摄像机能够透过所述第一平面模板上的各空心特征圆拍摄到所述第二平面模板上的部分特征点。
8.根据权利要求7所述的方法，其特征在于，所述第一平面模板上的各特征点的中心和各空心特征圆的圆心以及所述第二平面模板上的各特征点的中心，均在世界坐标系中具有确定的坐标值。
9.一种双摄像机模组校正和标定装置，其中，所述双摄像机模组中包括第一摄像机和第二摄像机，所述第一摄像机为基准摄像机，所述第二摄像机为位姿待调摄像机，其特征在于，所述装置包括：目标三维模板、控制模块以及六自由度调节模块；
所述第一摄像机，用于拍摄包括所述目标三维模板上的特征点的第一图像；
所述第二摄像机，用于拍摄包括所述目标三维模板上的特征点的第二图像；
所述控制模块，用于根据所述第一图像中的特征点的世界坐标、所述第二图像中的特征点的世界坐标、所述第一摄像机的像素坐标以及所述第二摄像机的像素坐标，分别得到所述第一摄像机以及所述第二摄像机的内参数和外参数，完成所述双摄像机模组的标定操作；
所述控制模块，还用于根据所述第一摄像机的外参数以及所述第二摄像机的外参数，计算得到所述第二摄像机的六个自由度的调整量；并根据所述第二摄像机的六个自由度的调整量，控制所述六自由度调节模块进行六自由度调节；
所述六自由度调节模块为所述控制模块的执行机构，与所述第二摄像机通过夹具连接，根据所述控制模块的控制指令调节六个自由度，以实现对所述第二摄像机进行位姿调节，使所述第二摄像机与所述第一摄像机的位姿一致，完成所述双摄像机模组的位姿校正操作。
10.根据权利要求9所述的装置，其特征在于，所述目标三维模板包括平行放置的第一平面模板与第二平面模板，在所述第一平面模板上存在若干个空心特征圆和若干个特征点，在所述第二平面模板上存在若干个特征点，其中，所述第一摄像机与所述第二摄像机能够透过所述第一平面模板上的各空心特征圆拍摄到所述第二平面模板上的特征点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810114589.6A CN108154538A (zh) | 2018-02-06 | 2018-02-06 | 一种双摄像机模组校正和标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810114589.6A CN108154538A (zh) | 2018-02-06 | 2018-02-06 | 一种双摄像机模组校正和标定方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108154538A true CN108154538A (zh) | 2018-06-12 |
Family
ID=62459712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810114589.6A Pending CN108154538A (zh) | 2018-02-06 | 2018-02-06 | 一种双摄像机模组校正和标定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108154538A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209997A (zh) * | 2019-06-10 | 2019-09-06 | 成都理工大学 | 基于三维特征点的深度相机自动标定算法 |
| CN110969657A (zh) * | 2018-09-29 | 2020-04-07 | 杭州海康威视数字技术股份有限公司 | 一种枪球坐标关联方法、装置、电子设备及存储介质 |
| CN111210478A (zh) * | 2019-12-31 | 2020-05-29 | 重庆邮电大学 | 一种无共同视野多相机系统外参标定方法、介质及系统 |
| CN111973204A (zh) * | 2020-08-04 | 2020-11-24 | 上海交通大学 | 一种纳入重力的新型双平板x光机的校准方法 |
| CN113781548A (zh) * | 2020-06-10 | 2021-12-10 | 华为技术有限公司 | 多设备的位姿测量方法、电子设备及系统 |
| CN115597551A (zh) * | 2022-12-14 | 2023-01-13 | 成都量芯集成科技有限公司（Cn） | 一种手持激光辅助双目扫描装置及方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1896679A (zh) * | 2005-07-12 | 2007-01-17 | 北京航空航天大学 | 一种三维视觉现场测量量值传递方法及装置 |
| CN1996389A (zh) * | 2007-01-09 | 2007-07-11 | 北京航空航天大学 | 基于共线特征点的摄像机畸变快速校正方法 |
| CN101021947A (zh) * | 2006-09-22 | 2007-08-22 | 东南大学 | 三维扫描系统中双摄像机标定方法 |
| US20090059011A1 (en) * | 2007-09-05 | 2009-03-05 | Junhua Sun | Calibration method for structure parameters of structured-light vision sensor |
| CN103761732A (zh) * | 2014-01-06 | 2014-04-30 | 哈尔滨工业大学深圳研究生院 | 一种可见光与热红外融合的立体成像装置及其标定方法 |
| CN104075688A (zh) * | 2013-03-29 | 2014-10-01 | 中原工学院 | 一种双目立体凝视监控系统的测距方法 |
| CN104268876A (zh) * | 2014-09-26 | 2015-01-07 | 大连理工大学 | 基于分块的摄像机标定方法 |
| CN104596502A (zh) * | 2015-01-23 | 2015-05-06 | 浙江大学 | 一种基于cad模型与单目视觉的物体位姿测量方法 |
| CN105469389A (zh) * | 2015-11-16 | 2016-04-06 | 北京航空航天大学 | 一种用于视觉传感器标定的网格球靶标及相应标定方法 |
| CN106887023A (zh) * | 2017-02-21 | 2017-06-23 | 成都通甲优博科技有限责任公司 | 用于双目摄像机标定的标定板及其标定方法和标定系统 |
| CN107025670A (zh) * | 2017-03-23 | 2017-08-08 | 华中科技大学 | 一种远心相机标定方法 |
| CN107123147A (zh) * | 2017-03-31 | 2017-09-01 | 深圳市奇脉电子技术有限公司 | 双目摄像机的标定方法、装置及双目摄像机系统 |
-
2018
- 2018-02-06 CN CN201810114589.6A patent/CN108154538A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1896679A (zh) * | 2005-07-12 | 2007-01-17 | 北京航空航天大学 | 一种三维视觉现场测量量值传递方法及装置 |
| CN101021947A (zh) * | 2006-09-22 | 2007-08-22 | 东南大学 | 三维扫描系统中双摄像机标定方法 |
| CN1996389A (zh) * | 2007-01-09 | 2007-07-11 | 北京航空航天大学 | 基于共线特征点的摄像机畸变快速校正方法 |
| US20090059011A1 (en) * | 2007-09-05 | 2009-03-05 | Junhua Sun | Calibration method for structure parameters of structured-light vision sensor |
| CN104075688A (zh) * | 2013-03-29 | 2014-10-01 | 中原工学院 | 一种双目立体凝视监控系统的测距方法 |
| CN103761732A (zh) * | 2014-01-06 | 2014-04-30 | 哈尔滨工业大学深圳研究生院 | 一种可见光与热红外融合的立体成像装置及其标定方法 |
| CN104268876A (zh) * | 2014-09-26 | 2015-01-07 | 大连理工大学 | 基于分块的摄像机标定方法 |
| CN104596502A (zh) * | 2015-01-23 | 2015-05-06 | 浙江大学 | 一种基于cad模型与单目视觉的物体位姿测量方法 |
| CN105469389A (zh) * | 2015-11-16 | 2016-04-06 | 北京航空航天大学 | 一种用于视觉传感器标定的网格球靶标及相应标定方法 |
| CN106887023A (zh) * | 2017-02-21 | 2017-06-23 | 成都通甲优博科技有限责任公司 | 用于双目摄像机标定的标定板及其标定方法和标定系统 |
| CN107025670A (zh) * | 2017-03-23 | 2017-08-08 | 华中科技大学 | 一种远心相机标定方法 |
| CN107123147A (zh) * | 2017-03-31 | 2017-09-01 | 深圳市奇脉电子技术有限公司 | 双目摄像机的标定方法、装置及双目摄像机系统 |
Non-Patent Citations (2)
| Title |
|---|
| JIANG YOU等: "Fast and Easy Method of Automatic Camera Calibration", 3RD INTERNATIONAL CONFERENCE ON MATERIALS ENGINEERING, pages 749 * |
| 薛俊鹏等: "基于两个正交一维物体的单幅图像相机标定", 光学学报, pages 1 - 7 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969657A (zh) * | 2018-09-29 | 2020-04-07 | 杭州海康威视数字技术股份有限公司 | 一种枪球坐标关联方法、装置、电子设备及存储介质 |
| CN110969657B (zh) * | 2018-09-29 | 2023-11-03 | 杭州海康威视数字技术股份有限公司 | 一种枪球坐标关联方法、装置、电子设备及存储介质 |
| CN110209997A (zh) * | 2019-06-10 | 2019-09-06 | 成都理工大学 | 基于三维特征点的深度相机自动标定算法 |
| CN111210478A (zh) * | 2019-12-31 | 2020-05-29 | 重庆邮电大学 | 一种无共同视野多相机系统外参标定方法、介质及系统 |
| CN113781548A (zh) * | 2020-06-10 | 2021-12-10 | 华为技术有限公司 | 多设备的位姿测量方法、电子设备及系统 |
| CN111973204A (zh) * | 2020-08-04 | 2020-11-24 | 上海交通大学 | 一种纳入重力的新型双平板x光机的校准方法 |
| CN115597551A (zh) * | 2022-12-14 | 2023-01-13 | 成都量芯集成科技有限公司（Cn） | 一种手持激光辅助双目扫描装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108154538A (zh) | 一种双摄像机模组校正和标定方法及装置 | |
| CN107564069A (zh) | 标定参数的确定方法、装置及计算机可读存储介质 | |
| CN103971353B (zh) | 采用激光辅助大型锻件测量图像数据的拼接方法 | |
| CN105654476B (zh) | 基于混沌粒子群优化算法的双目标定方法 | |
| CN104517291B (zh) | 基于目标同轴圆特征的位姿测量方法 | |
| CN104457710B (zh) | 一种基于非量测数码相机的航空数字摄影测量方法 | |
| CN107462184A (zh) | 一种结构光三维测量系统的参数重标定方法及其设备 | |
| CN103824049A (zh) | 一种基于级联神经网络的人脸关键点检测方法 | |
| CN108362266A (zh) | 一种基于ekf激光测距辅助单目视觉测量方法和系统 | |
| CN113175899B (zh) | 相机与振镜结合的变视线系统三维成像模型及其标定方法 | |
| CN108152948A (zh) | 离轴非球面光学系统的设计方法 | |
| JPH0818848A (ja) | カメラシステムおよび歪み除去方法 | |
| CN104048649B (zh) | 一种多视影像与三维模型的快速配准方法 | |
| CN110099267A (zh) | 梯形校正系统、方法以及投影仪 | |
| CN107192376A (zh) | 基于帧间连续性的无人机多帧图像目标定位校正方法 | |
| CN107270810A (zh) | 多方位投影的投影仪标定方法及装置 | |
| CN108645426A (zh) | 一种空间目标相对导航视觉测量系统在轨自标定方法 | |
| CN105631844A (zh) | 一种摄像机标定方法 | |
| CN107330927A (zh) | 机载可见光图像定位方法 | |
| CN104406770B (zh) | 波像差测量模块的畸变测量装置和畸变校正方法 | |
| CN106846416A (zh) | 单机分束双目被动立体视觉精确重构与细分拟合方法 | |
| CN109341720A (zh) | 一种基于恒星轨迹的遥感相机几何标定方法 | |
| CN105335335B (zh) | 基于xy多项式自由曲面的面形构建方法 | |
| CN108594255A (zh) | 一种激光测距辅助光学影像联合平差方法及系统 | |
| CN109948170A (zh) | 一种光学遥感相机热稳定性的仿真方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180612 |
|
| WD01 | Invention patent application deemed withdrawn after publication |