CN110243283B - 一种可变视轴视觉测量系统及方法 - Google Patents

Abstract

本发明涉及一种可变视轴视觉测量系统及方法，该测量系统包括基座、相机、旋转棱镜装置和计算机，所述计算机分别与相机、旋转棱镜装置连接；所述相机通过相机调节机构设置在基座上，所述旋转棱镜装置固定在基座上并与相机在轴线方向上对准，并且相机的成像平面和旋转棱镜装置的棱镜平面保持平行关系；所述旋转棱镜装置包括可全周旋转的棱镜。与现有技术相比，本发明充分利用旋转棱镜的精确指向特性和宽场扫描能力，使相机能在各种视轴指向状态下分别采集高分辨率的目标图像，可以显著扩大系统的成像视场和测量范围，实现较高的成像分辨率和三维测量精度，同时又可保证系统结构设计的集成性和经济性。

Description

一种可变视轴视觉测量系统及方法

技术领域

本发明涉及视觉测量领域，尤其是涉及一种可变视轴视觉测量系统及方法。

背景技术

视觉测量技术具有非接触、高精度、实时性强和信息丰富等原理性优势，在自动导航、医疗诊断、军事侦察以及人机交互等领域应用广泛。尤其是在先进装备制造领域，视觉测量能为工业现场的流水线加工、自动化装配、产品质量检测等环节提供重要的辅助和引导作用。传统的单目视觉测量方法依赖先验信息和外加约束，通常适用于平面目标的缺陷检测或方位测量；双目或多目视觉测量方法存在测量范围与测量精度相互制约的问题，而且其较为复杂的系统组成难以满足紧凑性和低成本的设计要求；结构光视觉测量方法采用相机与投影仪组合的方案，主要面临着布置形式和测量范围受限的问题。

针对传统视觉测量方法的局限性，国内外学者提出在相机前方附加特定的光学元件的可变视轴视觉测量方法，即通过附加光学元件的光线偏转作用改变相机的成像视轴指向，使相机在多种视轴指向下采集目标图像，再利用不同视角的图像信息解算目标的三维坐标。现有可变视轴视觉测量方法引入的附加光学元件包括平面反射镜(参见:邾继贵,等.单摄像机虚拟立体视觉测量技术研究.光学学报,2005,25(7):943-948；Mann Hans-Juergen.Imaging optical system:US Patent,US9298100B2,29March 2016)、折射棱镜(参见:Kweon In So,et al.Stereo camera system for obtaining a stereo image ofan object,and system and method for measuring distance between the stereocamera system and the object using the stereo image:US Patent,US6411327B1,25June 2002；Cui Xiaoyu,et al.Accurate geometrical optics model for single-lens stereovision system using a prism.Journal of the Optical Society ofAmerica A,2012,29(9):1828-1837)以及衍射光栅(参见:Pan Bing,et al.Single-cameramicroscopic stereo digital image correlation using a diffractiongrating.Optics Express,2013,21(21):25056-25068；Hiramoto Masao,et al.Depthestimating image capture device:US Patent,US9250065B2,2February 2016)等。这些方法的共同缺点在于视轴指向数量有限，且所有视轴指向下采集的目标图像共用探测器的成像平面，必然降低图像分辨力、限制系统测量范围。此外，采用反射镜组的可变视轴视觉测量方法在结构集成方面面临着不可避免的困难，采用衍射光栅的可变视轴视觉测量方法仅能满足微小尺度的三维目标测量需求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种可变视轴视觉测量系统及方法。

本发明的目的可以通过以下技术方案来实现：

一种可变视轴视觉测量系统，包括基座，还包括相机、旋转棱镜装置和计算机，所述计算机分别与相机、旋转棱镜装置连接；所述相机通过相机调节机构设置在基座上，所述旋转棱镜装置固定在基座上并与相机在轴线方向上对准，并且相机的成像平面和旋转棱镜装置的棱镜平面保持平行关系；所述旋转棱镜装置包括可全周旋转的棱镜。

优选的，所述旋转棱镜装置还包括驱动机构和支撑结构，所述棱镜安装在支撑结构的内部并通过驱动机构实现全周旋转运动。

一种使用上述可变视轴视觉测量系统的可变视轴视觉测量方法，包括以下步骤：

S1、标定测量系统的关键参数：建立相机坐标系、棱镜坐标系和世界坐标系，标定相机和棱镜，改变相机的三维位置和姿态角度，直至相机的光轴与旋转棱镜装置的光轴处在相同高度且完全平行；

S2、采集不同视角的目标图像序列：控制旋转棱镜装置使棱镜依次旋转至若干个指定转角位置，相机分别在由棱镜旋转产生的各个视轴指向状态下采集包含目标信息的目标图像序列；

S3、定位目标图像序列的重合区域：确定任意两种视轴指向下采集的目标图像之间的坐标转换关系，计算每幅目标图像的边界像点在其他目图像坐标系的图像坐标，再对所有目标图像的边界像点所构成的区域进行交集处理，得到目标图像序列的重合区域位置；

S4、建立目标图像序列的极线约束：将测量系统等效为绕其轴线方向旋转的虚拟相机，利用棱镜任意两种转角对应的虚拟相机位姿关系，计算得到相机在任意两种转角对应的视轴指向下采集到的目标图像之间的极线约束；

S5、匹配目标图像序列的同名像点：利用特征检测算法从某特定视角的目标图像中提取感兴趣特征的像素坐标，在结合步骤S3所得的重合区域和步骤S4所得的极线约束的基础上，利用模板匹配算法寻找其他目标图像内的同名像点；

S6、解算感兴趣特征的三维坐标值：利用目标图像序列内相互匹配的同名像点及其对应的棱镜转角，确定目标成像光路的逆向追迹方向和目标成像光路与棱镜楔面的交点位置，结合目标成像光路的传播方向及其与棱镜楔面的交点位置，确定经过目标点的一系列空间直线，得到目标点的世界坐标。

优选的，所述步骤S1中相机坐标系为O_C-X_CY_CZ_C，其原点O_C为相机的光心，Z_C轴与相机的光轴方向重合，X_C轴和Y_C轴均与Z_C轴正交，且分别沿相机成像传感器的行扫描方向和列扫描方向；

所述棱镜坐标系为O_P-X_PY_PZ_P，其原点O_P位于棱镜的平面侧中心，Z_P轴与旋转棱镜的光轴方向重合，X_P O_P Z_P平面与棱镜主截面重合，且X_P轴的正方向从主截面厚端指向薄端，Y_P轴同时与X_P轴和Z_P轴正交；

所述世界坐标系与相机坐标系完全重合。

优选的，所述步骤S3具体包括：

S31、依次计算各种视轴指向状态对应的俯仰角和方位角；

S32、利用所述俯仰角和方位角，计算得到来自目标的投影光线与经过棱镜偏转后进入相机视场的成像光线在棱镜转角处产生的旋转变换关系；

S33、确定任意两种视轴指向下采集的目标图像之间的坐标转换关系；

S34、利用不同视轴指向对应的目标图像之间的坐标转换关系，计算每幅图像的边界像点在其他图像坐标系的图像坐标，再对所有图像的边界像点所构成的区域进行交集处理，得到目标图像序列的重合区域位置。

优选的，所述步骤S33中，任意两种视轴指向下采集的目标图像之间的坐标转换关系为：

坐标转换矩阵M_OA满足：

w_j＝M_OAw_k＝λ_fR_PC[R_PS(θ_j)]^-1[R_PS(θ_k)](R_PC)^-1w_k

其中，j和k均是1～m范围内的整数，m≥2为棱镜转角位置的数量，w_j和w_k分别表示特定像点在目标图像I_j坐标系和目标图像I_k坐标系的图像坐标，λ_f表示将等式右侧的Z坐标归化为镜头焦距f，R_PS(θ)表示来自目标的投影光线与经过棱镜偏转后进入相机视场的成像光线在棱镜转角θ处产生的旋转变换关系，R_PC表示旋转矩阵：

优选的，所述步骤S4具体包括：

S41、将测量系统等效为绕其轴线方向旋转的虚拟相机，计算得到棱镜转角取任意值时，虚拟相机相对于实际相机的旋转矩阵和平移矩阵；

S42、根据旋转矩阵和平移矩阵，确定任意两种棱镜转角对应的虚拟相机位姿关系，得到两种虚拟相机位姿的相对旋转矩阵和相对平移矩阵；

S43、参考传统双目视觉的立体匹配技术，根据两种虚拟相机位姿的相对旋转矩阵和相对平移矩阵，计算得到虚拟相机处在任意两种位姿所产生的本质矩阵和基础矩阵；

S44、根据所述本质矩阵和基础矩阵，计算得到相机在任意两种转角对应的视轴指向下采集到的目标图像之间的极线约束。

优选的，所述步骤S41中虚拟相机相对于实际相机的旋转矩阵为R_VC(θ)：

R_VC(θ)＝J_VC+(I-J_VC)(n+tcosα)+K_VCsin[arccos(n+t cosα)]

其中，n和α分别表示棱镜的折射率和楔角，θ表示棱镜转角位置，参量

矩阵J_VC和K_VC分别表示为：

虚拟相机相对于实际相机的平移矩阵为T_VC(θ)：

T_VC(θ)＝[0 0 T_Z+d]^T-R_VC(θ)·[0 0 T_Z+d]^T

其中，d表示棱镜的中心厚度，T_Z表示相机光心O_C到棱镜平面的垂直距离。

优选的，所述步骤S5中，所述特征检测算法采用角点检测算法、直线检测算法、圆形检测算法或边缘检测算法，所述模板匹配算法采用绝对误差和算法、误差平方和算法或归一化交叉相关算法。

优选的，所述步骤S6具体包括：

S61、将目标图像序列内相互匹配的同名像点及其对应的棱镜转角代入矢量折射公式，得到目标成像光路的逆向追迹方向；

S62、先后联立目标成像光路所在直线方程和棱镜平面、楔面方程，得到目标成像光路与棱镜楔面的交点位置；

S63、结合目标成像光路的传播方向及其与棱镜楔面的交点位置，确定经过目标点P的一系列空间直线，通过空间直线方程组的线性最小二乘求解得到目标点的世界坐标。

与现有技术相比，本发明具有以下优点：

1.本发明采用旋转棱镜作为可变视轴视觉测量系统的视轴调整机构，即通过棱镜的旋转运动将相机成像视轴偏转至不同指向状态，充分利用旋转棱镜的精确指向特性和宽场扫描能力，使相机能在各种视轴指向状态下分别采集高分辨率的目标图像，可以显著扩大系统的成像视场和测量范围，实现较高的成像分辨率和三维测量精度，同时又可保证系统结构设计的集成性和经济性。

2.本发明提出多视角图像序列的重合区域定位方法和基于等效虚拟相机的极线约束计算方法，两者结合可以大幅缩减序列图像内同名特征的搜索范围，极大地提高可变视轴视觉测量的图像立体匹配效率。

3.本发明提出利用多种视轴指向状态及其对应成像信息的三维坐标解算方法，可以通过超定方程组的线性最小二乘求解获取三维坐标信息，有效抑制图像噪声和环境扰动等因素的影响，保证可变视轴视觉测量的三维坐标解算精度。

4.本发明提出相机和旋转棱镜轴向对准的布置方案，因此可变视轴视觉测量系统要求比双目视觉或多目视觉更小的布置空间和更低的经济成本，可以为工业内窥检测、生物医学成像等特定应用场合提供颇具潜力的技术手段。

附图说明

图1为可变视轴视觉测量系统的结构示意图；

图2为可变视轴视觉测量方法的实现流程图；

图3为利用不同视轴指向的目标图像序列解算三维信息的原理示意图，其中：(a)～(c)分别为棱镜转角θ₁、θ₂和θ_m对应视轴指向下目标点P的成像光路，(d)为多种视轴指向下目标成像光路的空间相交关系；

图4为可变视轴视觉测量系统在多种视轴指向下采集的目标图像序列，其中：(a)～(h)依次为棱镜转角θ₁＝0°、θ₂＝45°、θ₃＝90°、θ₄＝135°、θ₅＝180°、θ₆＝225°、θ₇＝270°和θ₈＝315°对应视轴指向下采集的目标图像；

图5为重合区域约束和极线约束作用下目标图像序列的立体匹配结果；

图6为目标图像序列内两个关键特征的三维位置及其相对距离的解算结果。

图中标号：1为工业相机，2为相机调节机构，3为旋转棱镜装置，4为测量目标，5为基座。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本申请提出一种可变视轴视觉测量系统，包括基座5、相机、旋转棱镜装置3和计算机。相机用于图像采集和高速传输，通过相机调节机构2设置在基座5上，本实施例中，相机具体为工业相机1，工业相机1的姿态角度可以通过相机调节机构2加以修正。旋转棱镜装置3用于改变成像视轴指向的旋转棱镜装置3，由棱镜、驱动机构和支撑结构组成，其中棱镜安装在支撑结构内部，并通过驱动机构实现全周旋转运动。旋转棱镜装置3固定在基座5上并与相机在轴线方向上严格对准，并且工业相机1的成像平面和旋转棱镜装置3的棱镜平面保持平行关系。计算机用于上位控制、图像处理和三维解算，计算机控制旋转棱镜装置3依次到达指定的转角位置之后，触发工业相机1在当前视轴指向下采集目标图像，再结合系统关键参数和图像数据解算目标的三维位置信息，从而实现测量目标4的几何参数测量或三维模型重建等功能。

工业相机1和旋转棱镜装置3的关键参数以及两者的轴向距离必须合理匹配，以免发生视场遮挡问题，工业相机1的关键参数包括焦距、视场角、感光芯片尺寸等，棱镜的关键参数包括楔角、折射率、通光孔径等。

如图2所示，可变视轴视觉测量方法的具体实现步骤如下：

S1、标定测量系统的关键参数

S11、建立相机坐标系O_C-X_CY_CZ_C、棱镜坐标系O_P-X_PY_PZ_P和世界坐标系O_W-X_WY_WZ_W；

相机坐标系O_C-X_CY_CZ_C的原点O_C为工业相机1的光心，Z_C轴与工业相机1的光轴方向重合，X_C轴和Y_C轴均与Z_C轴正交，且分别沿工业相机1的成像传感器的行扫描方向和列扫描方向；

棱镜坐标系O_P-X_PY_PZ_P的原点O_P位于棱镜的平面侧中心，Z_P轴与棱镜的光轴方向重合，X_P O_P Z_P平面与棱镜主截面重合，且X_P轴的正方向从主截面厚端指向薄端，Y_P轴同时与X_P轴和Z_P轴正交；

世界坐标系O_W-X_WY_WZ_W与相机坐标系O_C-X_CY_CZ_C完全重合；

S12、利用已有的相机标定方法，如直接线性变换法、两步标定法或张氏平面标定法等，获取工业相机1的内部参数矩阵A_int和径向畸变系数k₁、k₂，表示为：

其中f为镜头焦距，dx和dy分别表示成像传感器在水平方向和垂直方向的像素尺寸，γ表示行扫描方向和列扫描方向的不垂直度因子，[u₀,v₀]^T为相机成像平面的中心坐标；

S13、通过相机调节机构2改变工业相机1的三维位置和姿态角度，直至相机的光轴与旋转棱镜装置3的光轴处在相同高度且完全平行，即可保证两者在轴线方向的严格对准关系；相机坐标系O_C-X_CY_CZ_C和棱镜坐标系O_P-X_PY_PZ_P的转换关系可以利用旋转矩阵R_PC和平移矩阵T_PC描述，分别表示为：

其中，T_Z为相机光心O_C到棱镜平面的垂直距离。

S2、采集不同视角的目标图像序列

S21、指定若干个棱镜转角位置θ₁～θ_m，其中m≥2为棱镜转角位置的数量，所有棱镜转角位置可以在0°～360°范围内均匀划分或者依据目标轮廓进行采样选取；

S22、控制旋转棱镜装置3的运动过程，使棱镜依次旋转至指定转角位置θ₁～θ_m，则棱镜对光线的偏转作用可以产生工业相机1的m种成像视轴指向状态，如图3所示，利用工业相机1分别在各种视轴指向状态下采集包含目标信息的目标图像序列I₁～I_m。

S3、定位目标图像序列的重合区域

S31、依次计算各种视轴指向状态对应的俯仰角和方位角，结合折射定律可得棱镜转角θ对应的视轴指向俯仰角ρ和方位角

分别为：

其中，n和α分别表示棱镜的折射率和楔角；

S32、在棱镜坐标系O_P-X_PY_PZ_P内，来自目标的投影光线与经过棱镜偏转后进入相机视场的成像光线存在旋转变换关系，即成像光线矢量绕着单位矢量

旋转一定的角度ρ可以确定投影光线矢量，故棱镜在转角θ处产生的旋转变换关系R_PS(θ)为：

R_PS(θ)＝J_PS+(I-J_PS)cosρ+K_PSsinρ

其中，I表示三阶单位矩阵，矩阵J_PS和K_PS均与旋转轴矢量V有关，分别表示为：

S33、确定任意两种视轴指向下采集的目标图像之间的坐标转换关系，以棱镜转角位置θ_j和θ_k产生的两种视轴指向为例，其对应目标图像I_j和I_k的坐标转换矩阵M_OA满足：

w_j＝M_OAw_k＝λ_fR_PC[R_PS(θ_j)]^-1[R_PS(θ_k)](R_PC)^-1w_k

其中j和k均是1～m范围内的整数，w_j和w_k分别表示特定像点在图像I_j坐标系和图像I_k坐标系的图像坐标，λ_f能将等式右侧的Z坐标归化为镜头焦距f；

S34、利用不同视轴指向对应的目标图像序列之间的坐标转换关系，计算每幅图像的边界像点在其他图像坐标系的图像坐标，再对所有图像的边界像点所构成的区域进行交集处理，即可确定目标图像序列的重合区域位置。

S4、建立目标图像序列的极线约束

S41、将可变视轴视觉测量系统等效为绕其轴线方向旋转的虚拟相机，则棱镜转角取任意值θ时，虚拟相机相对于实际相机的旋转矩阵R_VC(θ)为：

R_VC(θ)＝J_VC+(I-J_VC)(n+tcosα)+K_VCsin[arccos(n+t cosα)]

其中参量

矩阵J_VC和K_VC分别表示为：

虚拟相机相对于实际相机的平移矩阵T_VC(θ)为：

T_VC(θ)＝[0 0 T_Z+d]^T-R_VC(θ)·[0 0 T_Z+d]^T

其中，d表示棱镜的中心厚度；

S42、确定任意两种棱镜转角对应的虚拟相机位姿关系，仍以棱镜转角为θ_j和θ_k为例，其对应两种虚拟相机位姿的相对旋转矩阵R_jk和相对平移矩阵T_jk分别为：

R_jk＝[R_VC(θ_j)]^-1R_VC(θ_k),T_jk＝[R_VC(θ_j)]^-1[T_VC(θ_k)-T_VC(θ_j)]

S43、参考传统双目视觉的立体匹配技术，计算虚拟相机处在任意两种位姿所产生的本质矩阵M_E和基础矩阵M_F，其表达式为：

M_F＝[(A_int)^-1]^TM_E(A_int)^-1

其中，X_Tjk、Y_Tjk和Z_Tjk分别为平移矩阵T_jk在三个坐标轴方向的分量；

S44、已知相机在任意两种棱镜转角θ_j和θ_k对应视轴指向下分别采集到目标图像I_j和I_k，图像I_j所含像点坐标p_j＝[u_j,v_j]^T在图像I_k内对应的极线为L_k，图像I_k所含像点坐标p_k＝[u_k,v_k]^T在图像I_j内对应的极线为L_j，可知极线L_k和L_j分别表示为：

考虑到棱镜成像畸变等因素的影响，任意两幅图像I_j和I_k之间的极线约束应当引入合理的误差阈值δ，将约束范围由极线扩展至其邻近区域。

S5、匹配目标图像序列的同名像点

S51、利用已有的特征检测算法，如角点检测算法、直线检测算法、圆形检测算法或边缘检测算法等，从某特定视角的目标图像中提取感兴趣特征的像素坐标；

S52、在结合步骤S3所得的重合区域约束和步骤S4所得的极线区域约束的基础上，利用已有的模板匹配算法寻找其他目标图像内的同名像点，所述模板匹配算法包括绝对误差和(SAD)算法、误差平方和(SSD)算法、归一化交叉相关(NCC)算法等；

S6、解算感兴趣特征的三维坐标值

S61、将图像序列I₁～I_m内相互匹配的同名像点p₁～p_m及其对应的棱镜转角θ₁～θ_m代入矢量折射公式，确定目标成像光路的逆向追迹方向为S₀、S₁和S₂，其计算公式为：

S₀＝(A_int)^-1[u_i v_i 1]^T

其中i可取1,2,…,m，(u_i,v_i)表示任意像点p_i的像素坐标，N₁和N₂分别为棱镜平面和楔面的法向量，其计算公式为：

N₁＝R_PC[0 0 1]^T,N₂＝R_PC[sinαcosθ_i sinαsinθ_i cosα]^T

S62、先后联立目标成像光路所在直线方程和棱镜平面、楔面方程，确定目标成像光路与棱镜楔面的交点位置H，其三维坐标H表示为：

S63、结合目标成像光路的传播方向S₂及其与棱镜楔面的交点位置H，确定经过目标点P的一系列空间直线，则目标点P的世界坐标P＝[X_W,Y_W,Z_W]^T可以通过空间直线方程组的线性最小二乘求解获得，即：

P＝(C^TC)^-1C^TD

其中矩阵C和D与棱镜转角θ₁～θ_m对应的一系列矢量S₂和交点H有关；针对不同转角取值θ_i(i＝1,2,...,m)，将矢量S₂和点H坐标分别表示为

和

可得矩阵C和D的计算公式为：

此方法能在有限的布置空间内完成较大尺度目标的高精度测量，为工业内窥检测、生物医学成像等领域提供了新型的解决途径。

实施例

本实施例中，利用可变视轴视觉测量方法获取目标三维轮廓信息的详细步骤如下：

S1、标定测量系统的关键参数

S11、建立相机坐标系O_C-X_CY_CZ_C、棱镜坐标系O_P-X_PY_PZ_P和世界坐标系O_W-X_WY_WZ_W；

S12、采用张氏平面标定法单独标定工业相机1的内部参数矩阵A_int和畸变系数k₁、k₂；

S13、将载有工业相机1的调节机构2和旋转棱镜装置3前后安装在基座5上，并且通过相机调节机构2改变相机1的高度和姿态，在保证相机和旋转棱镜轴向对准的基础上确定两者的相对旋转矩阵R_PC和相对平移矩阵T_PC；

S2、采集不同视角的目标图像序列

S21、在0°～360°内指定8个棱镜转角位置，即θ₁＝0°、θ₂＝45°、θ₃＝90°、θ₄＝135°、θ₅＝180°、θ₆＝225°、θ₇＝270°和θ₈＝315°，且确保相机在各个棱镜转角下均能采集到完整的目标图像；

S22、通过计算机向旋转棱镜装置3发送指令，控制棱镜依次旋转至转角位置θ₁～θ₈，每当棱镜到达指定位置就触发相机1采集目标图像，获取图4所示的多视角图像序列I₁～I₈；

S3、定位目标图像序列的重合区域：

S31、针对棱镜转角依次取θ₁～θ₈的情况，分别计算相机视轴指向的俯仰角ρ和方位角

S32、根据棱镜转角θ₁～θ₈对应的俯仰角ρ和方位角

分别计算目标投影光线矢量与相机成像光线矢量的旋转变换矩阵R_PS(θ₁)～R_PS(θ₈)；

S33、结合旋转矩阵R_PS(θ₁)～R_PS(θ₈)和坐标系转换关系，计算目标图像序列I₁～I₈内两两图像之间的坐标变换矩阵M_OA；

S34、利用变换矩阵M_OA计算两两图像之间的重合区域边界，再对所有闭合边界构成的区域做交集处理，分别确定图像序列I₁～I₈内公共重合区域所在位置；

S4、建立目标图像序列的极线约束：

S41、针对棱镜转角依次取θ₁～θ₈的情况，分别计算等效虚拟相机相对于测量系统所含实际相机的旋转矩阵R_VC(θ₁)～R_VC(θ₈)和平移矩阵T_VC(θ₁)～T_VC(θ₈)；

S42、以棱镜转角θ₁对应的虚拟相机位姿为基准，分别计算其他转角θ₂～θ₈对应的虚拟相机位姿相对于基准位姿的旋转矩阵R_1k和平移矩阵T_1k，其中k＝2,3,…,8；

S43、根据旋转矩阵R_1k和平移矩阵T_1k，分别计算虚拟相机的基准位姿与其他位姿之间的本质矩阵M_E和基础矩阵M_F；

S44、利用虚拟相机的基准位姿与转角θ₂～θ₈对应位姿之间的基础矩阵M_F，分别建立目标图像序列I₂～I₈的极线约束方程，同时设定合理的误差阈值δ；

S5、匹配目标图像序列的同名像点：

S51、利用已有的最小特征值角点检测算法，从棱镜转角θ₁对应的目标图像中提取两个关键特征P₁和P₂的像素坐标，记为p_1a和p_2a；

S52、结合第三步定位的重合区域约束和第四步建立的极线区域约束，依次确定棱镜转角θ₂～θ₈对应图像的立体匹配搜索范围，再利用已有的SAD模板匹配算法，在目标图像序列内分别实现两组同名像点p_1a～p_1h和p_2a～p_2h的准确匹配，如图5所示；

S6、解算感兴趣特征的三维坐标值：

S61、已知目标图像序列I₁～I₈包含的两组同名像点p_1a～p_1h和p_2a～p_2h；

S62、分别计算棱镜转角为θ₁～θ₈时目标成像光路的传播方向S₂及与棱镜楔面的交点位置H；

S63、利用两组同名像点p_1a～p_1h和p_2a～p_2h对应的传播方向S₂和交点位置H，分别建立关键特征P₁和P₂所在空间直线的方程组，再通过最小二乘方法求解其三维坐标为P₁＝[-47.19,124.11,834.87]^T和P₂＝[214.21,-62.57,970.87]^T，两者相对距离为348.81mm，如图6所示。

Claims (9)

1.一种可变视轴视觉测量系统，包括基座，其特征在于，还包括相机、旋转棱镜装置和计算机，所述计算机分别与相机、旋转棱镜装置连接；所述相机通过相机调节机构设置在基座上，所述旋转棱镜装置固定在基座上并与相机在轴线方向上对准，并且相机的成像平面和旋转棱镜装置的棱镜平面保持平行关系；所述旋转棱镜装置包括可全周旋转的棱镜，使用所述可变视轴视觉测量系统的可变视轴视觉测量方法，包括以下步骤：

S1、标定测量系统的关键参数：建立相机坐标系、棱镜坐标系和世界坐标系，标定相机和棱镜，改变相机的三维位置和姿态角度，直至相机的光轴与旋转棱镜装置的光轴处在相同高度且完全平行；

S2、采集不同视角的目标图像序列：控制旋转棱镜装置使棱镜依次旋转至若干个指定转角位置，相机分别在由棱镜旋转产生的各个视轴指向状态下采集包含目标信息的目标图像序列；

S3、定位目标图像序列的重合区域：确定任意两种视轴指向下采集的目标图像之间的坐标转换关系，计算每幅目标图像的边界像点在其他目图像坐标系的图像坐标，再对所有目标图像的边界像点所构成的区域进行交集处理，得到目标图像序列的重合区域位置；

S4、建立目标图像序列的极线约束：将测量系统等效为绕其轴线方向旋转的虚拟相机，利用棱镜任意两种转角对应的虚拟相机位姿关系，计算得到相机在任意两种转角对应的视轴指向下采集到的目标图像之间的极线约束；

S5、匹配目标图像序列的同名像点：利用特征检测算法从某特定视角的目标图像中提取感兴趣特征的像素坐标，在结合步骤S3所得的重合区域和步骤S4所得的极线约束的基础上，利用模板匹配算法寻找其他目标图像内的同名像点；

S6、解算感兴趣特征的三维坐标值：利用目标图像序列内相互匹配的同名像点及其对应的棱镜转角，确定目标成像光路的逆向追迹方向和目标成像光路与棱镜楔面的交点位置，结合目标成像光路的传播方向及其与棱镜楔面的交点位置，确定经过目标点的一系列空间直线，得到目标点的世界坐标。

2.根据权利要求1所述的一种可变视轴视觉测量系统，其特征在于，所述旋转棱镜装置还包括驱动机构和支撑结构，所述棱镜安装在支撑结构的内部并通过驱动机构实现全周旋转运动。

3.根据权利要求1所述的一种可变视轴视觉测量系统，其特征在于，所述步骤S1中相机坐标系为O_C-X_CY_CZ_C，其原点O_C为相机的光心，Z_C轴与相机的光轴方向重合，X_C轴和Y_C轴均与Z_C轴正交，且分别沿相机成像传感器的行扫描方向和列扫描方向；

所述棱镜坐标系为O_P-X_PY_PZ_P，其原点O_P位于棱镜的平面侧中心，Z_P轴与旋转棱镜的光轴方向重合，X_P O_P Z_P平面与棱镜主截面重合，且X_P轴的正方向从主截面厚端指向薄端，Y_P轴同时与X_P轴和Z_P轴正交；

所述世界坐标系与相机坐标系完全重合。

4.根据权利要求1所述的一种可变视轴视觉测量系统，其特征在于，所述步骤S3具体包括：

S31、依次计算各种视轴指向状态对应的俯仰角和方位角；

S32、利用所述俯仰角和方位角，计算得到来自目标的投影光线与经过棱镜偏转后进入相机视场的成像光线在棱镜转角处产生的旋转变换关系；

S33、确定任意两种视轴指向下采集的目标图像之间的坐标转换关系；

S34、利用不同视轴指向对应的目标图像之间的坐标转换关系，计算每幅图像的边界像点在其他图像坐标系的图像坐标，再对所有图像的边界像点所构成的区域进行交集处理，得到目标图像序列的重合区域位置。

5.根据权利要求4所述的一种可变视轴视觉测量系统，其特征在于，所述步骤S33中，任意两种视轴指向下采集的目标图像之间的坐标转换关系为：

坐标转换矩阵M_OA满足：

w_j＝M_OAw_k＝λ_fR_PC[R_PS(θ_j)]^-1[R_PS(θ_k)](R_PC)^-1w_k

其中，j和k均是1～m范围内的整数，m≥2为棱镜转角位置的数量，w_j和w_k分别表示特定像点在目标图像I_j坐标系和目标图像I_k坐标系的图像坐标，λ_f表示将等式右侧的Z坐标归化为镜头焦距f，R_PS(θ)表示来自目标的投影光线与经过棱镜偏转后进入相机视场的成像光线在棱镜转角θ处产生的旋转变换关系，R_PC表示旋转矩阵：

6.根据权利要求1所述的一种可变视轴视觉测量系统，其特征在于，所述步骤S4具体包括：

S41、将测量系统等效为绕其轴线方向旋转的虚拟相机，计算得到棱镜转角取任意值时，虚拟相机相对于实际相机的旋转矩阵和平移矩阵；

S42、根据旋转矩阵和平移矩阵，确定任意两种棱镜转角对应的虚拟相机位姿关系，得到两种虚拟相机位姿的相对旋转矩阵和相对平移矩阵；

S43、参考传统双目视觉的立体匹配技术，根据两种虚拟相机位姿的相对旋转矩阵和相对平移矩阵，计算得到虚拟相机处在任意两种位姿所产生的本质矩阵和基础矩阵；

S44、根据所述本质矩阵和基础矩阵，计算得到相机在任意两种转角对应的视轴指向下采集到的目标图像之间的极线约束。

7.根据权利要求6所述的一种可变视轴视觉测量系统，其特征在于，所述步骤S41中虚拟相机相对于实际相机的旋转矩阵为R_VC(θ)：

R_VC(θ)＝J_VC+(I-J_VC)(n+tcosα)+K_VCsin[arccos(n+tcosα)]

其中，n和α分别表示棱镜的折射率和楔角，θ表示棱镜转角位置，参量

矩阵J_VC和K_VC分别表示为：

虚拟相机相对于实际相机的平移矩阵为T_VC(θ)：

T_VC(θ)＝[0 0 T_Z+d]^T-R_VC(θ)·[0 0 T_Z+d]^T

其中，d表示棱镜的中心厚度，T_Z表示相机光心O_C到棱镜平面的垂直距离，I表示三阶单位矩阵。

8.根据权利要求1所述的一种可变视轴视觉测量系统，其特征在于，所述步骤S5中，所述特征检测算法采用角点检测算法、直线检测算法、圆形检测算法或边缘检测算法，所述模板匹配算法采用绝对误差和算法、误差平方和算法或归一化交叉相关算法。

9.根据权利要求1所述的一种可变视轴视觉测量系统，其特征在于，所述步骤S6具体包括：

S61、将目标图像序列内相互匹配的同名像点及其对应的棱镜转角代入矢量折射公式，得到目标成像光路的逆向追迹方向；

S62、先后联立目标成像光路所在直线方程和棱镜平面、楔面方程，得到目标成像光路与棱镜楔面的交点位置；

S63、结合目标成像光路的传播方向及其与棱镜楔面的交点位置，确定经过目标点P的一系列空间直线，通过空间直线方程组的线性最小二乘求解得到目标点的世界坐标。

Images