CN113175899B - 相机与振镜结合的变视线系统三维成像模型及其标定方法 - Google Patents
相机与振镜结合的变视线系统三维成像模型及其标定方法 Download PDFInfo
- Publication number
- CN113175899B CN113175899B CN202110469560.1A CN202110469560A CN113175899B CN 113175899 B CN113175899 B CN 113175899B CN 202110469560 A CN202110469560 A CN 202110469560A CN 113175899 B CN113175899 B CN 113175899B
- Authority
- CN
- China
- Prior art keywords
- camera
- galvanometer
- dimensional
- imaging
- calibration plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims description 53
- 238000005259 measurement Methods 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010330 laser marking Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种相机与振镜结合的变视线系统三维成像模型及其标定方法，变视线成像系统的硬件组成包括电脑，一个二维振镜、一个CCD或CMOS面阵相机、一组光学镜头。二维振镜含两片光学全反射镜，两片光学全反射镜可在电脑信号控制下分别绕轴快速偏转，从而改变相机和镜头组成的图像传感器的视线方向和相应的成像区域。变视线成像系统的三维成像模型建立了图像平面上的像素位置、二维振镜两个角度控制量与空间入射光线之间的映射关系，本发明同时公开了变视线成像系统三维成像模型的标定方法。本发明的突出优势是可以使相机与振镜结合的变视线成像系统满足大视场三维立体视觉应用的需要。
Description
技术领域
本发明属于机器视觉技术领域，具体地，涉及一种相机与振镜结合的变视线系统三维成像模型及其标定方法。
背景技术
二维振镜是由两个特殊的摆动电机分别带动两片光学镜片绕各自转轴快速偏转的一种矢量扫描器件。随着二维振镜制造技术的不断发展，振镜的定位精度、重复精度和扫描速度都有了很大的提升，并在很多领域得到了广泛的应用。例如，通过两片光学镜片的高速绕轴偏转改变入射激光束的出射方向，已经广泛用于激光打标、激光加工、激光标示、激光医疗美容等工作中。近几年，二维振镜也被用来与视觉成像系统相结合，以改变成像系统的视线方向，扩大相机视场范围。例如，Tadayoshi Aoyama等(【1】Vision-Based ModalAnalysis Using Multiple Vibration Distribution Synthesis to Inspect Large-Scale Structures，Journal of Dynamic Systems，Measurement，and Control，2019，141：031007)利用振镜高速偏转对视场的扩大作用，对4米长的桁架桥模型的振动形态进行快速拍摄，从而进行大型结构模态分析方法研究；刘陈义(【2】刘陈义.大视野小目标视觉跟踪技术研究[硕士学位论文].华中科技大学，2019)通过二维振镜扩大高分辨相机的视场，构建了一个运动目标视觉跟踪平台，以兼顾大视野、高帧率、高分辨的运动目标成像需要，这种运动跟踪拍摄系统可以用于对运动中的乒乓球、足球进行跟踪拍摄，配合振镜控制改变相机视线，使得被拍摄的运动目标始终位于图像画面中心；周恺(【3】周恺，基于振镜扫描的远距离大视场虹膜识别技术研究[硕士学位论文].西安电子科技大学，2019)先用一个常规的广角相机在较大范围内捕捉人脸目标，然后控制二维振镜偏转从而改变一个小视场高分辨相机的视线方向，使其对准眼部虹膜区域进行局部小区域的高分辨成像。这些研究中，二维振镜只是单纯用来改变相机每次拍摄时的成像区域，并没有建立振镜不同偏转状态下三维场景与图像平面上各点之间的定量关系。而在与三维视觉相关的各种应用中，建立成像系统的三维成像模型是必不可少的前提和基础。然而，对于相机-振镜结合的变视线成像系统而言，由于二维振镜对光线偏转具有明显的非线性，而且不同于激光-振镜系统中只有一条入射到第一片光学镜片中心转轴上的激光束，相机-振镜成像系统中二维图像平面上的每一个像素都对应一条主光线，该主光线经两片振镜的反射通过一组镜头汇聚到相机光学中心并成像在图像平面的对应像素位置。因此，三维场景在成像平面上的成像位置，不但与三维场景、相机本身包括非线性畸变在内的成像参数有关，还与振镜的两个偏转角度有复杂关系，这些因素综合在一起，使得相机-振镜成像系统的三维成像模型十分复杂，因此到目前尚未有人提出相机-振镜变视线成像系统三维成像模型，相机-振镜成像系统目前也难以直接用于需要定量几何关系的三维视觉应用中。因此，建立可靠的相机-振镜变视线成像系统的三维成像模型，并提出有效的标定方法具有重要意义。
发明内容
本发明目的在于为相机-振镜结合的变视线成像系统提供一种有效的三维成像模型，同时提供相应的参数标定方法，从而使相机-振镜结合的变视线成像系统可以用于需要精确几何关系的三维视觉应用中。
为实现上述目的，本发明采用以下技术方案：
本发明提供一种相机与振镜结合的变视线系统三维成像模型，变视线系统包括二维振镜、面阵相机、光学镜头、振镜控制器、电脑主机；
所述电脑主机通过振镜控制器与二维振镜连接，电脑主机发出的二个数字量信号(α，β)作为振镜转角控制量；所述二维振镜含两片光学全反射镜，两片光学全反射镜在振镜转角控制量的控制下分别绕轴快速偏转，用于改变面阵相机和光学镜头组成的图像传感器的视线方向和对应的成像区域，两片光学全反射镜片的偏转角度分别由α和β唯一确定；
相机成像平面上的像点p的像素坐标(u，v)与振镜转角控制量(α，β)构成的四维向量为Q(α，β，u，v)；在振镜转角控制量(α，β)的偏转角下，面阵相机和光学镜头组成的图像传感器光学中心点O指向点p的射线经过两片反射镜反射后所在的直线L为对应的六维向量L(x，y，z，a，b，c)，其中(x，y，z)为直线L上某一点的坐标，(a，b，c)为直线L的单位方向向量；所述变视线系统三维成像模型是以四维向量Q(α，β，u，v)到其对应的六维向量L(x，y，z，a，b，c)的映射关系来表达。
为优化上述技术方案，采取的具体措施还包括：
进一步地，四维向量Q(α，β，u，v)到其对应的六维向量L(x，y，z，a，b，c)的映射关系通过输入层为四元组Q(α，β，u，v)、输出层为六元组L(x，y，z，a，b，c)的网络映射模型进行表达。
进一步地，所使用的网络映射模型包括单隐层神经网络、多隐层神经网络、卷积神经网络。
进一步地，面阵相机包括CCD面阵相机、CMOS面阵相机。
本发明还提供一种相机与振镜结合的变视线成像系统三维成像模型的标定方法，包括如下步骤：
步骤一，通过三维测量系统及标定装置，采集不同的二维振镜转角控制量(α，β)下，不同相机像素点(u，v)对应的空间入射光线直线方程L(x，y，z，a，b，c)的六元组参数；
步骤二，利用各四元组Q(α，β，u，v)以及与相应四元组对应的六元组L(x，y，z，a，b，c)，对变视线成像系统三维成像网络映射模型进行训练，得到网络映射模型中的所有参数，完成相机与振镜结合的变视线成像系统三维成像模型标定。
进一步地，步骤一中的标定装置为可以自由移动的平面标定板，平面标定板大小与变视线成像系统的可成像范围相匹配。
进一步地，步骤一中的三维测量系统，用于对平面标定板上的点进行三维坐标重建。
进一步地，步骤一中的三维测量系统为相机与投影仪构成的结构光测量系统，标定方法包括以下步骤：
1)对相机-投影仪构成的结构光测量系统进行系统参数标定；
2)布置好相机-投影仪构成的结构光测量系统、相机-振镜构成的变视线成像系统以及平面标定板之间的相对位姿关系，使平面标定板处于相机-投影仪构成的结构光测量系统和相机-振镜构成的变视线成像系统的视场范围内，然后保持相机-投影仪构成的结构光测量系统与相机-振镜构成的变视线成像系统之间的相对位置关系不变；
3)所述相机-投影仪构成的结构光测量系统的投影仪向平面标定板投射结构光，所述相机-投影仪构成的结构光测量系统的相机C1拍摄平面标定板上的结构光图像，每次投射到平面标定板上的结构光图像也同时被相机-振镜构成的变视线成像系统的相机C2在给定的I组振镜转角控制量(αi，βi)，i＝1，2，...，I，对应的视线下进行拍摄，相机C2在I个视线下分别拍摄的平面标定板上的多个局部区域覆盖整个标定板；
4)对相机C1和相机C2拍摄到的结构光图像进行解码获得相位图像；
5)抽取振镜转角控制量(αi，βi)下相机C2所拍摄图像上J个像素位置(uj，vj)，j＝1，2，...，J，所取J个像素位置均匀散布于整个图像平面，根据所取相机C2在像素位置(uj，vj)处的结构光相位信息，找到相机C1所拍图像上具有相同相位信息的像素位置(uj′，vj′)，通过相机-投影仪构成的结构光测量系统重建出(uj′，vj′)对应的平面标定板上的点在结构光测量系统坐标系下的三维坐标
6)移动平面标定板的位置，重复步骤4)一步骤5)，得到第k个平面标定板位置下I组振镜转角控制量(αi，βi)对应视线下相机C2图像平面上抽取的像素位置(uj，vj)对应的平面标定板上的点在结构光测量系统坐标系下的三维坐标
7)利用空间点三维坐标
拟合出I×J条空间直线
从而得到四元组(αi，βi，uj，vj)对应的六元组
进一步地，步骤一中的三维测量系统为近景摄影测量系统，标定方法包括以下步骤：
1)对变视线成像系统所用的面阵相机进行包括非线性畸变参数在内的成像参数标定；
2)在变视线成像系统的成像范围内分散布设N个近景摄影测量系统可以辨识的视觉特征点，一直保持位置不变；在平面标定板上分散布设M个近景摄影测量系统可以辨识的视觉特征点；能够通过变视线成像系统的成像范围内分散布设的N个视觉特征点，保证后续对平面标定板位置进行变动时，将不同位置的平面标定板上的M个视觉特征点三维坐标统一到同一个世界坐标系中；
3)将平面标定板放置于变视线成像系统的成像范围内，平面标定板上视觉特征点的数量M和布设方式使相机-振镜结合的变视线成像系统在每个视线下所拍的图像中，至少可以成像平面标定板上四个以上的视觉特征点，以保证能够计算得到单应矩阵；
4)利用近景摄影测量系统同时测量出场景中的N个视觉特征点三维坐标以及平面标定板上M个视觉特征点的三维坐标，然后将本次测量的坐标系变换到根据场景中的N个视觉特征点三维坐标建立的世界坐标系O-XYZ中；记场景中的N个视觉特征点在O-XYZ坐标系中的坐标为(Xn，Yn，Zn)，n＝1，2，...，N，记平面标定板上M个视觉特征点在O-XYZ坐标系中的坐标为(0Xm，0Ym，0Zm)，m＝1，2，...，M；
5)根据步骤4)中得到的平面标定板上M个视觉特征点的三维坐标(0Xm，0Ym，0Zm)，建立平面标定板当前位置下的坐标系0O′-0X′0Y′0Z′，坐标平面0O′-0X′0Y′为标定板所在平面，将步骤4)中得到的(0Xm，0Ym，0Zm)变换到坐标系0O′-0X′0Y′0Z′下，记为(0Xm，0Y′m，0)，m＝1，2，...，M；
6)相机-振镜变视线成像系统在给定的I组振镜转角控制量(αi，βi)，i＝1，2，...，I，对应的视线下对平面标定板进行拍摄，在I个视线下分别拍摄的平面标定板上的多个局部区域覆盖整个标定板；
7)在变视线成像系统振镜转角控制量(αi，βi)对应视线下拍摄的图像中提取四个以上的视觉特征点像素坐标，根据步骤1)得到的变视线成像系统相机成像参数，对提取出来的四个以上视觉特征点像素坐标进行畸变矫正，利用四个以上经过畸变矫正后的视觉特征点像素坐标以及相应的视觉特征点在坐标系0O′-0X′0Y′0Z′中的两个坐标值
计算单应变换矩阵0Hi；
8)抽取相机-振镜变视线成像系统在振镜转角控制量(αi，βi)下所拍摄图像上J个像素位置(uj，vj)，j＝1，2，...，J，所取J个像素位置均匀散布于整个图像平面，根据单应变换矩阵0Hi计算出成像在(uj，vj)处的平面标定板上的点在坐标系0O′-0X′0Y′0Z′中的坐标
然后将
变换到O-XYZ坐标系下，得到三维坐标
9)前后移动平面标定板的位置，重复步骤3)-8)，得到第k个平面标定板位置下I组振镜偏转角控制参数(αi，βi)对应视线下相机-振镜变视线成像系统图像平面上抽取的像素位置(uj，vj)对应的平面标定板上的点在O-XYZ坐标系下的三维坐标
10)利用空间点三维坐标
拟合出I×J条空间直线
从而得到四元组(αi，βi，uj，vj)对应的六元组
进一步地，平面标定板的移动范围为在变视线成像系统的可成像范围内，平面标定板在可成像范围内进行前后移动，且各标定板平面之间不需要保证相互平行。
本发明的有益效果是：(1)本发明提出的相机-振镜结合的变视线成像系统三维成像模型以振镜的两个偏转角的数字控制量和相机图像平面上点的两个像素坐标构成的四元组作为输入，以像素点对应的空间入射光线的六元组参数作为输出，通过神经网络模型构造出一个一一对应的映射关系，巧妙地建立了空间入射光线与振镜偏转角以及像素位置之间的定量关系，既反映了实际成像过程，又避免了振镜和相机的复杂物理参数建模过程，很好地解决了相机-振镜结合的变视线成像系统一直没有定量的三维成像模型的问题，而且模型标定方法普适性高，标定结果可靠性强、稳定性高。
(2)利用本发明提出的变视线成像系统三维成像模型及其标定方法，其突出优势是可以使相机-振镜结合的变视线成像系统满足大视场三维立体视觉应用的需要，有广阔的应用前景。
附图说明
图1是本发明的变视线成像系统三维模型相关参数示意图。
图2是本发明的采用结构光测量的标定方法示意图。
图3是本发明的采用近景摄影测量的标定方法示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。本发明中所述二维振镜通常含两片光学全反射镜，具体实施时还可以使用一个偏转镜分别绕两个轴偏转的结构，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
如附图1-3所示，本发明公开的一种相机-振镜结合的变视线成像系统，包括一个二维振镜，一个CCD或者CMOS面阵相机，其成像平面像素点位置记为(u、v)，一组镜头，一个振镜控制器，一个电脑主机。电脑主机与面阵相机相连，控制相机采集图像。电脑主机通过振镜控制器与二维振镜连接，所述二维振镜含两片光学全反射镜，两片光学全反射镜可在电脑发出的二个数字量信号(α，β)控制下分别绕轴快速偏转，从而改变相机和镜头组成的图像传感器的视线方向和相应的成像区域，两片光学全反射镜片的偏转角度分别由α和β唯一确定。
本发明公开的相机-振镜结合的变视线成像系统三维成像模型建立起了振镜不同偏转状态下三维场景与图像平面上各像素点之间的定量映射关系。具体而言，以两片光学反射镜的转角控制参数(α，β)以及相机图像平面上像点p的像素坐标(u，v)构成四元组Q(α，β，u，v)；该偏转角下，记相机和镜头组成的图像传感器的光学中心O指向像点p的射线经两片光学反射镜反射后所在的直线为六元组L(x，y，z，a，b，c)，其中(x，y，z)为直线L上一个点的坐标，(a，b，c)为直线L的单位方向向量，如附图1所示。变视线系统三维成像模型是以四维向量Q(α，β，u，v)到其对应的六维向量L(x，y，z，a，b，c)的映射关系来表达，该映射关系通过输入层为四元组Q(α，β，u，v)、输出层为六元组L(x，y，z，a，b，c)的网络映射模型进行表达，从而无需建立相机-振镜成像光路物理模型和相机-振镜多个物理参数之间复杂的非线性关系，即可建立当振镜转角控制参数为(α，β)时，相机像素点p(u，v)成像的空间点P(X，Y，Z)所在的空间入射光线直线方程。本发明实施例所使用的网络映射模型包括且不限于单隐层神经网络、多隐层神经网络、卷积神经网络。例如，采用单隐层前馈神经网络(SLFN)，输入层有四个节点，输出层有六个节点，隐藏层的节点数可试数据规模选择；并通过极限学习机(ELM)训练，可以快速获得训练模型，实现标定。
本发明还公开了一种相机-振镜结合的变视线成像系统三维成像模型标定方法，包括如下步骤：
步骤一，通过三维测量系统及标定装置，采集不同的二维振镜转角控制量(α，β)下，不同相机像素点(u，v)对应的空间入射光线直线方程L(x，y，z，a，b，c)的六元组参数。
标定装置是一个可以自由移动的平面标定板，平面标定板大小与所述相机-振镜结合的变视线成像系统总的可成像范围相匹配；三维测量系统，可以对平面标定板上的视觉特征点或者编码点进行三维坐标重建。空间入射光线直线方程L(x，y，z，a，b，c)的六元组参数是通过对移动到n个不同位置下的平面标定板上对应相同的四元组参数Q(α，β，u，v)的n个点进行直线拟合得到的，n大于或者等于2。
步骤二，利用各四元组Q(α，β，u，v)以及与相应四元组对应的六元组L(x，y，z，a，b，c)，对所述的相机-振镜结合的变视线成像系统三维成像网络映射模型进行训练，得到所述网络映射模型中的所有参数，完成相机-振镜结合的变视线成像系统三维成像模型标定。
本发明的一个实施例中，相机-振镜结合的变视线成像系统三维成像模型标定方法中，三维测量系统采用相机-投影仪构成的结构光测量系统，如附图2所示，标定方法包括以下步骤：
1)对相机-投影仪构成的结构光测量系统进行系统参数标定。
2)布置好相机-投影仪构成的结构光测量系统、相机-振镜构成的变视线成像系统以及平面标定板之间的相对位姿关系，使平面标定板处于相机-投影仪构成的结构光测量系统和相机-振镜构成的变视线成像系统的视场范围内，然后保持相机-投影仪构成的结构光测量系统与相机-振镜构成的变视线成像系统之间的位置关系不变。
3)所述相机-投影仪构成的结构光测量系统的投影仪向平面标定板投射结构光，所述相机-投影仪构成的结构光测量系统中的相机C1拍摄平面标定板上的结构光图像，每次投射到平面标定板上的结构光图像也同时被相机-振镜构成的变视线成像系统的相机C2在给定的I组振镜转角控制量(αi，βi)，i＝1，2，...，I，对应的视线下进行拍摄，相机C2在I个视线下分别拍摄的平面标定板上的多个局部区域覆盖整个标定板。
4)对相机C1和相机C2拍摄到的结构光图像进行解码获得相位图像。
5)抽取振镜转角控制量(αi，βi)下相机C2所拍摄图像上J个像素位置(uj，vj)，j＝1，2，...，J，所取J个像素位置均匀散布于整个图像平面(个数J根据计算量和标定精度要求进行折中设置，一般J大于100)，根据所取相机C2在像素位置(uj，vj)处的结构光相位信息，找到相机C1所拍图像上具有相同相位信息的像素位置(uj′，vj′)，通过相机-投影仪构成的结构光测量系统重建出(uj′，vj′)对应的平面标定板上的点在结构光测量系统坐标系下的三维坐标
6)前后移动平面标定板的位置，使得每个标定板平面上的对应点可以拟合出一根直线。重复步骤4)-步骤5)，得到第k个平面标定板位置下I组振镜转角控制量(αi，βi)对应视线下相机C2图像平面上抽取的像素位置(uj，vj)对应的平面标定板上的点在结构光测量系统坐标系下的三维坐标
i＝1，2，...，I，j＝1，2，...，J，k＝1，2，...，K，K≥2。
7)利用空间点三维坐标
拟合出I×J条空间直线
从而得到四元组(αi，βi，uj，vj)对应的六元组
本发明的另一个实施例中，相机-振镜结合的变视线成像系统三维成像模型标定方法中三维测量系统采用近景摄影测量系统，如附图3所示，具体包括以下步骤：
S1、对变视线成像系统所用的面阵相机进行包括非线性畸变参数在内的成像参数标定。
S2、在变视线成像系统的成像范围内分散布设N个近景摄影测量系统可以辨识的视觉特征点，这N个场景中的视觉特征点在后续整个标定过程中一直保持位置不变；在平面标定板上分散布设M个近景摄影测量系统可以辨识的视觉特征点；所述变视线成像系统的成像范围内分散布设的N个视觉特征点应保证后续对平面标定板位置进行变动时，摄影测量系统可以借助所述位置一直保持不变的N个视觉特征点将不同位置的平面标定板上的M个视觉特征点三维坐标统一到同一个世界坐标系中。
S3、将平面标定板放置于变视线成像系统的成像范围内，平面标定板上视觉特征点的数量M和布设方式使相机-振镜结合的变视线成像系统在每个视线下所拍的图像中，至少可以成像平面标定板上四个以上的视觉特征点。
S4、利用近景摄影测量系统同时测量出场景中的N个视觉特征点三维坐标以及平面标定板上M个视觉特征点的三维坐标，然后将本次测量的坐标系变换到根据场景中的N个视觉特征点三维坐标建立的世界坐标系O-XYZ中；记场景中的N个视觉特征点在O-XYZ坐标系中的坐标为(Xn，Yn，Zn)，n＝1，2，...，N，记平面标定板上M个视觉特征点在O-XYZ坐标系中的坐标为(0Xm，0Ym，0Zm)，m＝1，2，...，M。
S5、根据步骤4)中得到的平面标定板上M个视觉特征点的三维坐标(0Xm，0Ym，0Zm)，建立平面标定板当前位置下的坐标系0O′-0X′0Y′0Z′，坐标平面0O′-0X′0Y′为标定板所在平面，将步骤4)中得到的(0Xm，0Ym，0Zm)变换到坐标系0O′-0X′0Y′0Z′下，记为(0X′m，0Y′m，0)，m＝1，2，...，M。
S6、相机-振镜变视线成像系统在给定的I组振镜转角控制量(αi，βi)，i＝1，2，...，I，对应的视线下对平面标定板进行拍摄，在I个视线下分别拍摄的平面标定板上的多个局部区域覆盖整个标定板。
S7、在变视线成像系统振镜转角控制量(αi，βi)对应视线下拍摄的图像中提取四个以上的视觉特征点像素坐标，根据步骤1)得到的在变视线成像系统相机成像参数，对提取出来的四个以上视觉特征点像素坐标进行畸变矫正，利用四个以上经过畸变矫正后的视觉特征点像素坐标以及相应的视觉特征点在坐标系0O′-0X′0Y′0Z′中的两个坐标值
计算单应变换矩阵0Hi。
S8、抽取相机-振镜变视线成像系统在振镜转角控制量(αi，βi)下所拍摄图像上J个像素位置(uj，vj)，j＝1，2，...，J，所取J个像素位置均匀散布于整个图像平面(个数J根据计算量和标定精度要求进行折中设置，一般J大于100)，根据单应变换矩阵0Hi计算出成像在(uj，vj)处的平面标定板上的点在坐标系0O′-0X′0Y′0Z′中的坐标
然后将
变换到O-XYZ坐标系下，得到三维坐标
S9、前后移动平面标定板的位置，重复步骤S3至步骤S8，得到第k个平面标定板位置下I组振镜偏转角控制参数(αi，βi)对应视线下相机-振镜变视线成像系统图像平面上抽取的像素位置(uj，vj)对应的平面标定板上的点在O-XYZ坐标系下的三维坐标
S10、利用空间点三维坐标
拟合出I×J条空间直线
从而得到四元组(αi，βi，uj，vj)对应的六元组
本发明公开的一种相机-振镜结合的变视线成像系统三维成像模型标定方法的步骤二中，对三维成像网络映射模型进行训练是以步骤7)或者步骤S10中的四元组(αi，βi，uj，vj)为输入，以步骤7)或者步骤s10中的六元组
为输出，对所述变视线三维成像网络映射模型进行训练，得到(αi，βi，uj，vj)与
之间的网络映射模型所有参数。
本发明提出的相机-振镜结合的变视线成像系统三维成像模型以振镜的两个偏转角的数字控制量和相机图像平面上点的两个像素坐标构成的四元组作为输入，以像素点对应的空间入射光线的六元组参数作为输出，通过神经网络模型构造出一个一一对应的映射关系，巧妙地建立了空间入射光线与振镜偏转角以及像素位置之间的定量关系，既反映了实际成像过程，又避免了振镜和相机的复杂物理参数建模过程，很好地解决了相机-振镜结合的变视线成像系统一直没有定量的三维成像模型的问题，而且模型标定方法普适性高，标定结果可靠性强、稳定性高。
利用本发明提出的变视线成像系统三维成像模型及其标定方法，其突出优势是可以使相机-振镜结合的变视线成像系统满足大视场三维立体视觉应用的需要，有广阔的应用前景。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (10)
1.一种相机与振镜结合的变视线系统三维成像模型，其特征在于，变视线系统包括二维振镜、面阵相机、光学镜头、振镜控制器、电脑主机；
所述电脑主机通过振镜控制器与二维振镜连接，电脑主机发出的二个数字量信号(α，β)作为振镜转角控制量；所述二维振镜含两片光学全反射镜，两片光学全反射镜在振镜转角控制量的控制下分别绕轴快速偏转，用于改变面阵相机和光学镜头组成的图像传感器的视线方向和对应的成像区域，两片光学全反射镜片的偏转角度分别由α和β唯一确定；
相机成像平面上的像点p的像素坐标(u，v)与振镜转角控制量(α，β)构成四元组(α，β，u，v)；在振镜转角控制量(α，β)的偏转角下，面阵相机和光学镜头组成的图像传感器光学中心点O指向点p的射线经过两片反射镜反射后所在的直线L为对应的六元组(x，y，z，a，b，c)，其中(x，y，z)为直线L上某一点的坐标，(a，b，c)为直线L的单位方向向量；所述变视线系统三维成像模型是以四元组(α，β，u，v)到其对应的六元组(x，y，z，a，b，c)的映射关系来表达。
2.根据权利要求1所述的变视线系统三维成像模型，其特征在于，四元组(α，β，u，v)到其对应的六元组(x，y，z，a，b，c)的映射关系通过输入层为四元组(α，β，u，v)、输出层为六元组(x，y，z，a，b，c)的网络映射模型进行表达。
3.根据权利要求2所述的变视线系统三维成像模型，其特征在于，所使用的网络映射模型包括单隐层神经网络、多隐层神经网络、卷积神经网络。
4.根据权利要求1所述的变视线系统三维成像模型，其特征在于，面阵相机包括CCD面阵相机、CMOS面阵相机。
5.一种相机与振镜结合的变视线系统三维成像模型的标定方法，其特征在于，所述方法应用于权利 要求1-4任一项所述的变视线系统三维成像模型，包括如下步骤：
步骤一，通过三维测量系统及标定装置，采集不同的二维振镜转角控制量(α，β)下，不同相机像素点(u，v)对应的空间入射光线直线方程的六元组(x，y，z，a，b，c)；
步骤二，利用各四元组(α，β，u，v)以及与相应四元组对应的六元组(x，y，z，a，b，c)，对变视线成像系统三维成像网络映射模型进行训练，得到网络映射模型中的所有参数，完成相机与振镜结合的变视线成像系统三维成像模型标定。
6.根据权利要求5所述的变视线系统三维成像模型的标定方法，其特征在于，步骤一中的标定装置为可以自由移动的平面标定板，平面标定板大小与变视线成像系统的可成像范围相匹配。
7.根据权利要求6所述的变视线系统三维成像模型的标定方法，其特征在于，步骤一中的三维测量系统，用于对平面标定板上的点进行三维坐标重建。
8.根据权利要求7所述的变视线系统三维成像模型的标定方法，其特征在于，步骤一中的三维测量系统为相机与投影仪构成的结构光测量系统，标定方法包括以下步骤：
1)对相机-投影仪构成的结构光测量系统进行系统参数标定；
2)布置好相机-投影仪构成的结构光测量系统、相机-振镜构成的变视线成像系统以及平面标定板之间的相对位姿关系，使平面标定板处于相机-投影仪构成的结构光测量系统和相机-振镜构成的变视线成像系统的视场范围内，然后保持相机-投影仪构成的结构光测量系统与相机-振镜构成的变视线成像系统之间的位置关系不变；
3)所述相机-投影仪构成的结构光测量系统的投影仪向平面标定板投射结构光，所述相机-投影仪构成的结构光测量系统中的相机C1拍摄平面标定板上的结构光图像，每次投射到平面标定板上的结构光图像也同时被相机-振镜构成的变视线成像系统的相机C2在给定的I组振镜转角控制量(αi，βi)，i＝1，2，...，I，对应的视线下进行拍摄，相机C2在I个视线下分别拍摄的平面标定板上的多个局部区域覆盖整个标定板；
4)对相机C1和相机C2拍摄到的结构光图像进行解码获得相位图像；
5)抽取振镜转角控制量(αi，βi)下相机C2所拍摄图像上J个像素位置(uj，vj)，j＝1，2，...，J，所取J个像素位置均匀散布于整个图像平面，根据所取相机C2在像素位置(uj，vj)处的结构光相位信息，找到相机C1所拍图像上具有相同相位信息的像素位置(uj′，vj′)，通过相机-投影仪构成的结构光测量系统重建出(uj′，vj′)对应的平面标定板上的点在结构光测量系统坐标系下的三维坐标；
6)移动平面标定板的位置，重复步骤4)一步骤5)，得到第k个平面标定板位置下I组振镜转角控制量(αi，βi)对应视线下相机C2图像平面上抽取的像素位置(uj，vj)对应的平面标定板上的点在结构光测量系统坐标系下的三维坐标
7)利用空间点三维坐标
拟合出I×J条空间直线
从而得到四元组(αi，βi，uj，vj)对应的六元组
9.根据权利要求7所述的变视线系统三维成像模型的标定方法，其特征在于，步骤一中的三维测量系统为近景摄影测量系统，标定方法包括以下步骤：
1)对变视线成像系统所用的面阵相机进行包括非线性畸变参数在内的成像参数标定；
2)在变视线成像系统的成像范围内分散布设N个近景摄影测量系统可以辨识的视觉特征点，一直保持位置不变；在平面标定板上分散布设M个近景摄影测量系统可以辨识的视觉特征点；能够通过变视线成像系统的成像范围内分散布设的N个视觉特征点，保证后续对平面标定板位置进行变动时，将不同位置的平面标定板上的M个视觉特征点三维坐标统一到同一个世界坐标系中；
3)将平面标定板放置于变视线成像系统的成像范围内，平面标定板上视觉特征点的数量M和布设方式使相机-振镜结合的变视线成像系统在每个视线下所拍的图像中，至少可以成像平面标定板上四个以上的视觉特征点；
4)利用近景摄影测量系统同时测量出场景中的N个视觉特征点三维坐标以及平面标定板上M个视觉特征点的三维坐标，然后将本次测量的坐标系变换到根据场景中的N个视觉特征点三维坐标建立的世界坐标系O-XYZ中；记场景中的N个视觉特征点在O-XYZ坐标系中的坐标为(Xn，Yn，Zn)，n＝1，2，...，N，记平面标定板上M个视觉特征点在O-XYZ坐标系中的坐标为(0Xm，0Ym，0Zm)，m＝1，2，...，M；
5)根据步骤4)中得到的平面标定板上M个视觉特征点的三维坐标(0Xm，0Ym，0Zm)，建立平面标定板当前位置下的坐标系0O′-0X′0Y′0Z′，坐标平面0O′-0X′0Y′为标定板所在平面，将步骤4)中得到的(0Xm，0Ym，0Zm)变换到坐标系0O′-0X′0Y′0Z′下，记为(0X′m，0Y′m，0)，m＝1，2，...，M；
6)相机-振镜变视线成像系统在给定的I组振镜转角控制量(αi，βi)，i＝1，2，...，I，对应的视线下对平面标定板进行拍摄，在I个视线下分别拍摄的平面标定板上的多个局部区域覆盖整个标定板；
7)在变视线成像系统振镜转角控制量(αi，βi)对应视线下拍摄的图像中提取四个以上的视觉特征点像素坐标，根据步骤1)得到的变视线成像系统相机成像参数，对提取出来的四个以上视觉特征点像素坐标进行畸变矫正，利用四个以上经过畸变矫正后的视觉特征点像素坐标以及相应的视觉特征点在坐标系0O′-0X′0Y′0Z′中的两个坐标值
计算单应变换矩阵0Hi；
8)抽取相机-振镜变视线成像系统在振镜转角控制量(αi，βi)下所拍摄图像上J个像素位置(uj，vj)，j＝1，2，...，J，所取J个像素位置均匀散布于整个图像平面，根据单应变换矩阵0Hi计算出成像在(uj，vj)处的平面标定板上的点在坐标系0O′-0X′0Y′0Z′中的坐标
然后将
变换到O-XYZ坐标系下，得到三维坐标
9)前后移动平面标定板的位置，重复步骤3)-8)，得到第k个平面标定板位置下I组振镜偏转角控制参数(αi，βi)对应视线下相机-振镜变视线成像系统图像平面上抽取的像素位置(uj，vj)对应的平面标定板上的点在O-XYZ坐标系下的三维坐标
10)利用空间点三维坐标
拟合出I×J条空间直线
从而得到四元组(αi，βi，uj，vj)对应的六元组
10.根据权利要求6所述的变视线系统三维成像模型的标定方法，其特征在于，平面标定板的移动范围为在变视线成像系统的可成像范围内，且各标定板平面之间不需要保证相互平行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110469560.1A CN113175899B (zh) | 2021-04-28 | 2021-04-28 | 相机与振镜结合的变视线系统三维成像模型及其标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110469560.1A CN113175899B (zh) | 2021-04-28 | 2021-04-28 | 相机与振镜结合的变视线系统三维成像模型及其标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113175899A CN113175899A (zh) | 2021-07-27 |
| CN113175899B true CN113175899B (zh) | 2022-06-10 |
Family
ID=76925656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110469560.1A Active CN113175899B (zh) | 2021-04-28 | 2021-04-28 | 相机与振镜结合的变视线系统三维成像模型及其标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113175899B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114034248B (zh) * | 2021-11-19 | 2022-08-09 | 北京科技大学 | 一种基于双目视觉的激光三维投影方法 |
| CN114022571B (zh) * | 2022-01-05 | 2022-05-17 | 中国科学院自动化研究所 | 基于振镜的高速虚拟相机系统、观测方法及设备 |
| CN114459597B (zh) * | 2022-02-14 | 2024-03-29 | 熵智科技(深圳)有限公司 | 振镜标定系统及方法 |
| CN115078299B (zh) * | 2022-02-22 | 2024-05-31 | 北京工业大学 | 一种基于振镜扫描系统的太赫兹计算层析三维成像方法 |
| CN114266836B (zh) * | 2022-03-01 | 2022-05-13 | 中国科学院自动化研究所 | 基于振镜相机的主动视觉三维标定方法、系统和设备 |
| CN117146711B (zh) * | 2023-10-30 | 2024-02-13 | 中国科学院自动化研究所 | 基于双振镜系统的大范围动态激光重建方法、系统及设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106247979A (zh) * | 2016-08-17 | 2016-12-21 | 四川川大智胜软件股份有限公司 | 一种基于振镜的三维扫描仪 |
| CN107014312B (zh) * | 2017-04-25 | 2019-05-24 | 西安交通大学 | 一种振镜式线激光扫描三维测量系统的整体标定方法 |
| CN107449374B (zh) * | 2017-07-05 | 2023-10-27 | 南京航空航天大学 | 柔性布局的视觉辅助激光振镜扫描系统及其现场校准方法 |
| KR101941580B1 (ko) * | 2017-09-29 | 2019-01-24 | 휴멘 주식회사 | 표면형상 측정장치 |
| CN109458928B (zh) * | 2018-10-29 | 2020-12-25 | 西安知微传感技术有限公司 | 基于扫描振镜和事件相机激光线扫描3d检测方法及系统 |
-
2021
- 2021-04-28 CN CN202110469560.1A patent/CN113175899B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113175899A (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113175899B (zh) | 相机与振镜结合的变视线系统三维成像模型及其标定方法 | |
| CN108253939B (zh) | 可变视轴单目立体视觉测量方法 | |
| CN103759670B (zh) | 一种基于数字近景摄影的物体三维信息获取方法 | |
| CN108171758B (zh) | 基于最小光程原理和透明玻璃标定板的多相机标定方法 | |
| CN108288292A (zh) | 一种三维重建方法、装置及设备 | |
| CN114998499B (zh) | 一种基于线激光振镜扫描的双目三维重建方法及系统 | |
| CN110345921B (zh) | 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统 | |
| CN109615661A (zh) | 光场相机内参数标定装置及方法 | |
| CN109325981B (zh) | 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法 | |
| CN112700502B (zh) | 双目相机系统和双目相机空间标定方法 | |
| CN107038753B (zh) | 立体视觉三维重建系统及方法 | |
| CN113205603A (zh) | 一种基于旋转台的三维点云拼接重建方法 | |
| CN113884519B (zh) | 自导航x射线成像系统及成像方法 | |
| CN110751601A (zh) | 一种基于rc光学系统的畸变校正方法 | |
| CN112229323A (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
| CN116823964A (zh) | 相机-振镜变视线系统的物理参数模型及其标定方法 | |
| CN113330487A (zh) | 参数标定方法及装置 | |
| CN116147534A (zh) | 一种基于镜面辅助的多视角三维激光扫描系统及复杂表面全景测量方法 | |
| CN111739103A (zh) | 一种基于单点标定物的多相机标定系统 | |
| Tomasi | Pictures and trails: a new framework for the computation of shape and motion from perspective image sequences | |
| Li et al. | Calibration method of Risley-prism imaging system | |
| CN116051651A (zh) | 一种变视线成像系统的等效多目视觉模型及其标定方法 | |
| Xu et al. | Mobile camera array calibration for light field acquisition | |
| CN116047104A (zh) | 一种基于转镜式高速相机的运动目标速度测量方法 | |
| CN112233185B (zh) | 相机标定方法、图像配准方法及摄像器件、存储装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |