CN112362034B - 基于双目视觉的固体发动机多节筒段对接引导测量方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉的固体发动机多节筒段对接引导测量算法。本发明采用了在双目视觉下，欧式运动恢复结构结合SIFT尺寸不变特征变换的算法及RANSAC随机采样一致性算法来更好的采集到亚像素级别的精确性，提供了高精度，抗干扰能力强的一套算法。结合测量机器人接触式测量矫正系数，消除了欧式结构恢复下存在的绝对空间相似差异性，利用此方法进行度量重构保证了精度的可靠性。本发明在校准摄像机内、外参数时，只需简易的校准板进行双目拍摄，即可精准算出摄像机内、外参数矩阵，为摄像机坐标系与世界坐标系之间的矩阵转换提供准备的数据，从而达到筒段空间位姿求解的稳定性、精准性。

Description

基于双目视觉的固体发动机多节筒段对接引导测量方法

技术领域

本发明涉及一种基于双目视觉的固体发动机多节筒段对接引导测量算法，属于对接引导中的测量技术领域。

背景技术

通过自动化对接、自动化测量技术，将大幅度提升固体发动机的装配精度，大量减少人工的重复而繁重的劳动强度，提高了装配车间的人为安全性。目前国内固体发动机装配多为多人、多工位协同装配，在装配过程中，需要经验丰富的操作人员反复试装、塞尺测量以及多套工装夹具辅助。还有小部分工厂使用了六轴的自动化装配平台来实现多段对接装配，且利用激光跟踪仪或室内GPS来实时测量并辅助对接，但每台激光跟踪仪同一时刻只能跟踪一个特征点，无法满足多点特征点测量以及多姿态实时监控；室内GPS则绝对精度很低，因此无法满足高精度对接的需求，所以迫切需要一种在对接装配过程中可以实现多特征点、多姿态、低成本及高精度的非接触式测量方法来辅助装配。

发明专利201911102118.4公开了一种基于双目视觉测量的运载火箭大部段调姿对接方法，包括如下步骤：步骤一、建立全局坐标系；步骤二、建立两个对接部段的局部坐标系；步骤三、建立装配坐标系，并分别确定两个局部坐标系与装配坐标系间的转换关系矩阵；步骤四、建立虚拟调姿坐标系；步骤五、确定各调姿控制点在装配坐标系下的控制量。本发明在双目视觉引导自动化装配的基础上提出一系列坐标系标定转化方法，并将视觉测量获得的控制量分配到各运动轴，实现部段对接视觉测量系统的快速标定，从而达到测量及运动控制目的。

上述专利存在以下问题及缺点：主要利用双目视觉坐标系之间的转换关系来虚拟建立轴移动量的多少，如果在光线不足或者噪点干扰的情况下，对像素点成像的区域影响很大，从而大大降低了测量的精度。

发明专利202010499036.4基于双目视觉的临近空间飞行器相对位姿测量方法及装置，建立气囊坐标系、吊舱坐标系和测量系统坐标系，建立各坐标系间的关系，通过双目相机采集图像并传送至嵌入式处理器处理，提取合作标识的图像中心位置，计算各合作标识在双目立体视觉测量坐标系下的坐标，并转换到吊舱坐标系下，得到气囊坐标系相对吊舱坐标系的相对位姿。本发明提供的基于双目视觉的临近空间飞行器相对位姿测量方法及装置，基于照明反光的特征合作标识、双目相机及机载嵌入式处理器有效实现临近空间飞行器在飞行过程中气囊和吊舱的相对位姿测量，满足轻量化、低功耗需求，可在复杂的成像条件下从气囊表面提取合作标识，对保障飞行安全、控制飞行运动具有重要意义。

上述专利存在以下问题及缺点：需要在气囊底表面粘贴合作标示作为靶标提取点，合作标示是利用特殊复合材料裁剪而成，制作复杂。需要将嵌入式处理器、照明光源、相机固定在吊舱内，因此，双相机与光源的安装视角需要严格保证其视场能够覆盖合作标示的运动区间，否则丢失对标示点的正确捕捉。双目相机标定时，需要利用连杆靶标不断变换位置，标定便捷性差。标示点提取采用了传统的二值化图像处理方法来确定位置，精度不高。在建立吊舱与气囊坐标系的过程中使用了全站仪来测量，引入了较高成本。

发明专利201910339187.0属于测量技术领域，将提供一种大型部件对接装配相对位姿的视觉测量系统和测量方法。本发明测量系统由近景双目视觉传感器、大范围双目视觉传感器、活动靶标、固定靶标和计算机组成。本发明测量方法根据大型部件水平方向上的间距将对接过程分为对接初始阶段和位姿精调阶段，在对接不同阶段选择对应的双目视觉传感器拍摄活动靶标与固定靶标图像，传入计算机进行处理，提取靶标特征点，根据大型部件对接装配相对位姿视觉测量系统的测量模型计算对接部件的相对位姿。本发明解决了视觉测量中测量范围与测量精度的矛盾，实现了基于视觉的大型部件相对位姿测量，测量系统易于布置、成本低，能够满足不同部件对接任务的测量需求；测量方法过程简单，测量效率高。

上述专利存在以下问题及缺点：固定与活动端都需要固定安装二维屏幕玻璃靶标板，需使用专人专用工具进行安装。玻璃上的靶标点由于受到镜面反射影响成像效果差。测量时引入二套不同规格的双目相机进行测量，增加了相机因标定而产生的误差积累。靶标中心点图像提取未进行图像预处理分析，增加了图像因噪声的干扰。未给出对尺度空间下相似性的处理，其降低测量精度。

发明内容

本发明的目的是：便捷，快速，高精度，高准确性的自动化，且能适应复杂的车间环境与大部件对接测量的算法，替代工厂现有的人工高强度的手动安装时需要的各种复杂检测与测量。在多节筒段对接方面，可提供自动化对接时的测量数据支撑。

为了达到上述目的，本发明的技术方案是提供了一种基于双目视觉的固体发动机多节筒段对接引导测量算法，其特征在于，包括以下步骤：

步骤1、根据现场环境与被测筒段的移动范围，将摄像机一及摄像机二分别架设在摄像机支架一及摄像机支架二，从而搭建双目视觉摄像机系统并建立透视投影相机模型；

步骤2、根据步骤1中建立的透视投影相机模型，求出摄像机的内、外参数，具体包括以下步骤：

将标定板装置放置于双目视觉摄像机系统的视场内，标定板上有3组三维的六个点P_i，i＝1，...，6，利用双目视觉摄像机系统对标定板上六个点P_i进行拍照，通过采集拍照获得的图像上对应的点建立数关系，从而求解出摄像机的内、外参数，其中：

摄像机内、外参数是描述三维世界到二维像素的映射关系，有：

P_ccd＝MP_w＝K[R|T]P_w

式中，M为世界坐标系P_w到像素坐标系P_ccd的投影矩阵；K为摄像机内参数； [R|T]为摄像机外参数，即摄像机的姿态，R为3×3的旋转矩阵，T为平移的三维向量；

步骤3、双目视觉摄像机系统的摄像机一及摄像机二分别采集固体发动机两节移动段图像，对移动的筒段实时地进行图片数据采集，对采集的多张图片进行特征匹配处理，设摄像机一及摄像机二分别获取的图片为图片Image1、图片 Image2，则具体包括如下步骤：

步骤301、对图像对快速SIFT匹配，获取特征点：

对图片Image1、图片Image2关键点进行SIFT尺度不变特征匹配算法提取对应的各特征点，其中，关键点为极值点；

步骤302、对步骤301获取的特征点进行RANSAC滤除错误匹配处理：

对图片Image1及图片Image2上的特征点随机采样一致性处理，从一组含有外点的数据中正确估计并迭代出数学模型参数，具体包括以下步骤：

步骤3021、设将P个数据点{x₁，x₂，...，x_P}拟合一个由至少n个点决定的模型，P≥n；

步骤3022、设迭代计数k＝1；

步骤3023、从P个数据点{x₁，x₂，...，x_P}中随机选取n个数据点{x₁，x₂，...，x_n}拟合一个模型，记为M1，n的初始值3；

步骤3024、给定容限误差ε，计算数据点{x₁，x₂，...，x_n}中相对于模型的残差在容限误差ε内的元素个数，将在容限误差ε内的数据点定义为内点，如果内点个数大于阈值t，算法终止，之后根据内点集合重新拟合模型，否则进入步骤3025；

步骤3025、设k＝k+1，如果k小于预先设定的K，跳至步骤3023，将得到的最新的内点集合和模型分别记为S1^*和M1^*，如果k不小于预先设定的K，采用具有当前内点最多的点集的模型，或者算法失败；

步骤303、通过步骤301与步骤302的处理方法获得图片Image1及图片 Image2上最优的图像对点，从而排除掉不必要的噪声及其他干扰点，最终获取八组点对；

步骤4、建立双目视觉摄像机系统姿态，即求解基础矩阵，包括以下步骤：

步骤401、建立针对双目视觉摄像机系统多视图的极几何约束关系：

设对任意靶标点P2使用摄像机一及摄像机二来拍照，从而分别获得图片 Image1及图片Image2，靶标点P2在图片Image1上的成像点为p₂，靶标点P2在图片Image2上的成像点为p₂′，则有：

p₂ ^′T Fp₂＝0

式中，

为基础矩阵；

步骤402、令

则有：

即有

步骤402、采用步骤3所述的方法获得八组点对：

则得到如下代数方程：

步骤403、求解归一化变换关系矩阵T、T′：

在摄像机一的坐标系下建立新的图像像素坐标系，将原来的坐标系的八点像素(u_i，v_i)，i＝1，...，8，转换在以八点图像重心为坐标原点、每个坐标(u_i，v_i)到坐标原点的均方根距离规定为

的坐标系中，其转换矩阵记为T；

在摄像机二的坐标系下建立新的图像像素坐标系，将原来的坐标系的八点像素(u_i′，v_i′)，i＝1，...，8，转换在以八点图像重心为坐标原点、每个坐标(u_i′，v_i′)，到坐标原点的均方根距离规定为

的坐标系中，其转换矩阵记为T′；

步骤404、坐标归一化处理

式中，

为摄像机一所拍摄图片八个特征点归一化变换后的各坐标，

为摄像机一所拍摄图片八个特征点各坐标，

为摄像机二所拍摄图片八个特征点归一化变换后的各坐标，

为摄像机二所拍摄图片八个特征点各坐标；

步骤405、通过步骤402得到的代数方程八点法计算矩阵F_q；

步骤406、逆归一化求得基础矩阵F：F＝T^′T F_qT；

步骤5、双目视觉摄像机系统恢复结构：

通过三维场景的多张图像，恢复出该场景的三维结构信息以及每张图片对应的摄像机参数，包括以下步骤：

步骤501、利用欧式结构恢复n个三维点X_j，j＝1，…，n，在m张图像中的对应点的像素坐标x_ij；已知n个三维点X_j在m张图像中的对应点的像素坐标x_ij；m 张图像对应的摄像机的内参数矩阵K_i，i＝1，...，m，且有：

x_ij＝M_iX_j＝K_i[R_iT_i]X_j

式中，M_i为第i图像对应的摄像机的投影矩阵，K_i为第i图像对应的摄像机的内参数矩阵，R_i第i图像对应的摄像机的旋转矩阵，T_i第i图像对应的摄像机的平移的三维向量；

步骤502、设定摄像机一的坐标系为世界坐标系Pw，则有：

x_1j＝M₁X_j＝K₁[I O]X_j

x_2j＝M₂X_j＝K₂[R T]X_j

式中，x_1j为摄像机一所拍摄图片的极点像素坐标，x_2j为摄像机二所拍摄图片的极点像素坐标，M₁为摄像机一的投影矩阵，M₂为摄像机二的投影矩阵，K₁为摄像机一的内参数矩阵，K₂为摄像机二的内参数矩阵；

步骤503、利用步骤4得到的基础矩阵F与摄像机一的内参数矩阵K₁、摄像机二的内参数矩阵K₂求解本质矩阵E：

步骤504、将本质矩阵E分解成矩阵R与矩阵T，即E＝T×R＝[T_×]R，式中， T_×为T叉乘矩阵；

步骤505、将步骤504计算出的矩阵R与矩阵T代入步骤502所列公式中即可求得x_1j、x_2j；

步骤506、将步骤505求得x_1j、x_2j代入下式中，三角化求解空间三维点X_j坐标：

为世界坐标下所测点的三维坐标，d(·)为在像素投影平面上测量点与最优点距离；

步骤6、通过接触式测量任意空间位置的两点空间坐标X₁、X₂，与用双目视觉摄像机系统测量出相对应的点为

根据向量关系得出

K_correct为先验性比例系数；在实时对接的过程中，双目视觉摄像机系统测量的所有点的三维坐标

优选地，所述步骤1中，建立透视投影相机模型时，假设P₁为被测物体的三维坐标(x，y，z)，P₁′为在相机成像面上的坐标，根据针孔成像及三角形相似原理，在齐次坐标系下，相机成像的模型为：

式(1)记为：

P₁′＝K[I O]P₁ (2)

式(1)及式(2)中，K为摄像机的内参数变形矩阵(I为摄像机内参数矩阵，此处矩阵多包含一组三维向量，为后续的外参数矩阵提供位置，故此处全为0，不影响矩阵运算)，它决定了空间点到图片点的映射关系；(cx，c_y)为成像光轴的主点坐标；θ为摄像机传感器CCD平面行列像素的倾斜角度；a、β分别为像平面x、y像素值对应实际尺寸的比例参数；I为摄像机内参数矩阵；M为世界坐标系P_w到像素坐标系P_ccd的投影矩阵。

优选地，所述步骤2中，求解出摄像机的内、外参数包括以下步骤：

步骤201、用双目视觉摄像机系统对标定板上3组三维的六个点P_i拍照获取拍照图像，在拍照图像上对应采集六个点p_i，i＝1，...，6，于是建立关系如下：

式(3)中，u_i、v_i为分别为采集的点在像素平面上横向、纵向的坐标值，即p_i的像素坐标；m₁、m₂、m₃为三维坐标(x，y，z)在齐次坐标下的投影矩阵；

将采集的六组点代入式(3)有：

步骤202、求解内、外参数

由(4)求得M矩阵，此处令M＝K[R T]＝ρ[A b]，

求解得出：

内参数：

α＝ρ²|a₁×a₃|sinθ，β＝ρ²|a₂×a₃|sinθ，其中，ρ为变换系数；u₀、v₀为摄像机像素平面原点的两个维度偏移量；

外参数：

r₂＝r₃×r₁，T＝ρK^-1b。

优选地，所述步骤301中，对所述图片Image1或所述图片Image2关键点进行SIFT尺度不变特征匹配算法提取对应的各特征点包括以下步骤：

步骤3011、建立高斯差分金字塔：

对采集的所述图片Image1或所述图片Image2用不同方差的高斯核进行卷积进行分层后，进行降采样，使得图片尺寸缩小一半，从而模拟近大远小、近处清晰、远处模糊的情况；

步骤3012、关键点，即极值点，的定位：

对所述图片Image1或所述图片Image2阈值化预处理，利用图像中单位像素点x，y，σ方向上进行求导确定极值点，对处理的结果再进行低对比度点的舍去、根据海森矩阵

对边缘效应的消除，去除噪点干扰；

步骤3013、确定关键点主方向，为关键点赋予方向：

统计以特征点为圆心，以该特征点所在对的高斯图像的尺度的1.5倍为半径的圆内的所有的像素的梯度方向及其梯度幅值，并做1.5σ的高斯滤波，在最接近关键点尺度值σ的高斯图像上进行统计；

步骤3014、构建关键点描述符；

将高斯图像关键点周围某区域旋转至主方向上，取m＝3、d＝4的小区域划分开，再通过高斯加权、投票的方式统计每个子区域中的8个方向梯度长度，其中，m为区域细分最小单元格数量，d为区域细分最小单元格组数量。优选地，所述步骤504中，利用奇异值SVD分解得出R矩阵，利用最小特征值对应的特征向量关系得出T矩阵：

式中，U为左奇异矩阵，W为自定义矩阵

V为右奇异矩阵，u₃为U 矩阵的第三列；

根据上式选择一个点进行三角化，正确的一组解能保证点在摄像机一及摄像机二的z坐标均为正，对于多个点进行三角化，选择在两个摄像机系下z坐标均为正的个数最多的那组矩阵R与矩阵T。

本发明使用2组摄像机对2段筒段的移动端实时检测，利用欧式坐标下运动恢复结构结合SIFT及RANCS算法对摄像机采集的筒体上的Mark点无误的提取出多组像素点，再通过透视摄像机下的极几何约束获取筒段的实时姿态及位置，为对接过程中的轴移动量提供准确无误的实时数据。

本发明采用了在双目视觉下，欧式运动恢复结构结合SIFT尺寸不变特征变换的算法及RANSAC随机采样一致性算法来更好的采集到亚像素级别的精确性，提供了高精度，抗干扰能力强的一套算法。结合测量机器人接触式测量矫正系数，消除了欧式结构恢复下存在的绝对空间相似差异性，利用此方法进行度量重构保证了精度的可靠性。本发明在校准摄像机内、外参数时，只需简易的校准板进行双目拍摄，即可精准算出摄像机内、外参数矩阵，为摄像机坐标系与世界坐标系之间的矩阵转换提供准备的数据，从而达到筒段空间位姿求解的稳定性、精准性。

附图说明

图1为多节对接的双目摄像机测量几何图；

图2为高精度立体标定板图；

图3为图像归一化变换处理示意图；

图4为双目系统的极几何测量原理图；

图5为多点三角化多解的几何分布图；

图6为不同尺度下相似性差异图；

图7为本发明的流程图；

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

步骤1：搭建双摄像机环境

根据现场环境与被测筒段的移动范围，对双目视觉系统视场范围内进行估计与搭建，如图1所示。

本发明为针对固体发动机多节筒段对接过程中的空间姿态数据测量的技术，本发明中的双目视觉系统有摄像机一、摄像机二、摄像机支架一、摄像机支架二、高精度立体标定板、嵌入式控制器组成。固体发动机单节筒段长度为700mm，直径为500mm；装配精度要求0.2mm。通过搭建双目摄像系统，单台摄像机可见视场范围为1000mm²。

摄像机一、摄像机二选用2000万像素相机，高精度立体标定板为50mm³的单位均分格子为5mm×5mm的铝合金板(利用高精度机床加工而成)，其中格子涂层黑白相间(利用高精度涂抹设备制成)。嵌入式控制器为普通的工控机。

步骤2：建立透视投影相机模型

假设P1为被测物体的三维坐标(x，y，z)，P₁′为在相机成像面上的坐标，根据针孔成像及三角形相似原理，在齐次坐标系下，相机成像的模型为：

记为：

P₁′＝K[I O]P₁ (2)

其中，定义K为摄像机的内参数矩阵，它决定了空间点到图片点的映射关系； (cx，c_y)为成像光轴的主点坐标；θ为摄像机传感器CCD平面行列像素的倾斜角度； a、β分别为像平面x、y像素值对应实际尺寸的比例参数。

步骤3：相机标定

摄像机标定即求摄像机内、外参数的问题，而摄像机内、外参数是描述三维世界到二维像素的映射关系。

P_ccd＝MP_w＝K[R|T]P_w (3)

其中，K为摄像机内参数，[R|T]为摄像机外参数即摄像机的姿态，R为3×3 的旋转矩阵，T为平移的三维向量，M为世界坐标系P_w到像素坐标系P_ccd的投影矩阵。

根据式(3)对空间坐标(X，Y，Z)转化成像素坐标(u，v)的代数表达式为

此处，记K[R|T]为投影矩阵M。

步骤4.1：如图2利用标定装置，即一个空间三维的平均方格阵列的标定板，用相机对标定板上3组三维的六个点P_i(i＝1，…，6)拍照，获取拍照图像，在图像上对应采集p_i(i＝1，...，6)，于是可建立关系如下：

将采集的六组点代入公式可得：

步骤4.2：求解内、外参数

令M＝K[R T]＝ρ[A b]，

可求解得出：内参数

α＝ρ²|a₁×a₃|sinθ，β＝ρ²|a₂×a₃|sinθ；外参数

r₂＝r₃×r₁，T＝ρK^{- 1}b。

步骤5：双相机分别采集固体发动机两节移动段图像，利用嵌入式设备高速脉冲信号1KHZ对移动的筒段实时的进行图片数据采集。

步骤6：对步骤5采集的多张照片进行图像对特征匹配

步骤6.1：对图像对快速SIFT匹配，获取特征点。

对图1中Image1、Image2两张图片关键点进行SIFT尺度不变特征匹配算法提取对应的各点，具体如下：

第一步：建立高斯差分金字塔。对采集的Image1照片用不同方差(不同尺度)的高斯核对原图片进行卷积进行分层；对每组的图片进行降采样(尺寸缩小一半)；从而模拟近大远小、近处清晰、远处模糊的情况。

第二步：关键点(Key Points)即极值点的定位。对Image1图像阈值化预处理，利用图像中单位像素点x，y，σ方向上进行求导确定极值点，对处理的结果再进行低对比度点的舍去、根据海森矩阵

对边缘效应的消除，去除噪点干扰。

第三步：确定关键点主方向。为关键点(亚像素级别)赋予方向：统计以特征点为圆心，以该特征点所在对的高斯图像的尺度的1.5倍为半径的圆内的所有的像素的梯度方向及其梯度幅值，并做1.5σ的高斯滤波，在最接近关键点尺度值σ的高斯图像上进行统计。

第四步：构建关键点描述符。将高斯图像关键点周围某区域旋转至主方向上 (为了旋转不变性)，取m＝3；d＝4的小区域划分开，再通过高斯加权、投票的方式统计每个子区域中(4×4)的8个方向梯度长度。

步骤6.2：对步骤6.1中图像获取的特征点进行RANSAC滤除错误匹配处理。

对图1中Image1、Image2图片上的点进行RANSC算法处理。对两张图像上的特征像素点随机采样一致性处理，从一组含有外点的数据中正确估计并迭代出数学模型参数。首先采集数据点的一个小子集作为内点，计算模型，评分模型，迭代重复直至最优。具体如下：

第一步：假设我们要将P个数据点{x1，x2，…，xn}拟合一个由至少n个点决定的模型(P≥n，对于圆来说n＝3)；

第二步：设迭代计数k＝1；

第三步：从P中随机选取n个点拟合一个模型，记为M1。n在一开始为3，之后越来越大；

第四步：给定容限误差ε，计算数据点{x1，x2，…，xn}中相对于模型的残差在偏差ε内的元素个数，如果内点个数大于阈值t，算法终止。之后我们可以根据内点集合重新拟合模型(可以利用最小二乘法或其变种)；

第五步：设k＝k+1，如果k小于预先设定的K，跳至第3步，新的内点集合和模型分别记为S1*和M1*。否则采用具有当前内点最多的点集的模型，或者算法失败。

步骤7：获取最优图像对的像素坐标

由步骤6.1、步骤6.2的方法可获取Image1、Image2图片上的最优的图像对点，从而排除掉不必要的噪声及其他干扰点，最终获取八组点对

步骤8：双相机姿态关系建立，求解基础矩阵

步骤8.1：建立针对双相机多视图的极几何约束关系

通过透视摄像机拍摄下的两视点图像间极几何约束关系，如图1对筒体上的某一靶标点P2使用双相机1、2来拍照，并且获取2张照片Image1、Image2，在Image1上成像点为p₂，Image2上成像点为p₂′，如图1假设O2坐标系为世界坐标系Ow2，则改模型满足的代数表达方式如下：

p₂ ^′TFp₂＝0 (8)

其中F为此模型的基础矩阵。

步骤8.2：八点算法(Longuet-Higgins，1981)估计基础矩阵

基础矩阵F矩阵自由度为7，则7点应该可以求解出基础矩阵F，但计算量巨大，令

由式(8)可转换为：

即

对图1中筒体移动端的八个点(通过式(7)计算得到)使用两视角拍照，分别在O2摄像机下采集八点像素位置{u_i(i＝1，…，8)，v_i(i＝1，...，8)}，在O3摄像机下同理采集出{u‘_i(i＝1，...，8)，v’_i(i＝1，...，8)}，列出代数方程式如下：

步骤8.3：求解归一化变换关系矩阵T、T′，在O2摄像机下建立新的图像像素坐标系(如图3)将原来的坐标系的八点像素转换在以八点图像重心为原点，每个坐标{u_i(i＝1，...，8)，v_i(i＝1，...，8)}到坐标原点的均方根距离规定为

的坐标系中，其转换矩阵记为T。同理，对于在O3摄像机下，其转换矩阵记为T′。

步骤8.4：坐标归一化处理：

步骤8.5：通过式(9_2)八点法计算矩阵F_q；

步骤8.6：逆归一化可求得(1)中的基础矩阵

F＝T^′TF_qT (10)

步骤9：双目摄像机恢复结构

通过三维场景的多张图像，恢复出该场景的三维结构信息以及每张图片对应的摄像机参数。

步骤9.2：利用欧式结构恢复n个三维点X_j(j＝1，...，n)在m张图像中的对应点的像素坐标x_ij；已知n个三维点X_j(j＝1，...，n)在m张图像中的对应点的像素坐标 x_ij；m张图像对应的摄像机的内参数矩阵K_i(i＝1，...，m)且有：

x_ij＝M_iX_j＝K_i[R_i T_i]X_j (11)

式中，i＝1，…m，j＝1…，n，m为图像个数，n为3D点个数；M_i，K_i，[R_iT_i]为第 i张图片对应的摄像机的投影矩阵、内参数及外参数矩阵。

步骤9.3：如图4，设定摄像机1的坐标系O1为世界坐标系Pw，那么

x_1j＝M₁X_j＝K₁[I O]X_j j＝1…，n (11_1)

x_2j＝M₂X_j＝K₂[R T]X_j j＝1…，n (11_2)

步骤9.4：利用式(10)计算得到的基础矩阵F与摄像机内参数K₁、K₂可求解本质矩阵E：

步骤9.5：将本质矩阵E分解成矩阵R与矩阵T，即E＝[T_×]R。利用奇异值SVD 分解可以得出矩阵R，利用最小特征值对应的特征向量关系得出矩阵T。

根据式(13)选择一个点进行三角化，正确的一组解能保证点在两个摄像机的z坐标均为正，对于多个点进行三角化，选择在两个摄像机系下z坐标均为正的个数最多的那组R、T(更鲁棒)，故应选择图5中的(a)情况。

步骤9.6：根据步骤9.5通过式(13)计算出的结果代入式(11_1)及式(11_2)中即可求得x_1j，x_2j。

步骤9.7：将步骤9.6中求得x_1j，x_2j代入式(14)中，三角化求解空间三维点X_j坐标：

由于式(13)中计算分解的结果是建立在不考虑尺度系数的情况下推导的，并且都是相对于摄像机一的坐标系O1建立出来的代数关系式，因此恢复出来的欧式结构与真实场景之间相差一个相似变换(如图6)(旋转，平移，缩放)，故

事实上属于绝对尺度空间。为保证测量的精度及准确性，则需要加入先验条件来保证其准备度，故需度量重构。

步骤10：通过接触式测量任意空间位置的两点空间坐标X₁，X₂，与此用双目视觉测量出相对应的点为

根据可以根据向量关系得出

因此在实时对接的过程中，双目视觉测量的所有点的三维坐标

理论精度：以上选用2000万像素摄像机，拍摄的视场大小为1000mm²，2000 万CCD像素阵列为5544×3694(pixels)(此处针对索尼公司的IMX183CLK-J/ CQJ-J是CMOS图像传感器)，由于使用了亚像素级别的图像特征点对提取方法，故针对单位像素灰度0～255均分，因此测量的理论精度为

可见达到装配对接的精度要求。

Claims (5)

1.一种基于双目视觉的固体发动机多节筒段对接引导测量方法，其特征在于，包括以下步骤：

步骤1、根据现场环境与被测筒段的移动范围，将摄像机一及摄像机二分别架设在摄像机支架一及摄像机支架二，从而搭建双目视觉摄像机系统并建立透视投影相机模型；

步骤2、根据步骤1中建立的透视投影相机模型，求出摄像机的内、外参数，具体包括以下步骤：

将标定板装置放置于双目视觉摄像机系统的视场内，标定板上有3组三维的六个点P_i，i＝1,…,6，利用双目视觉摄像机系统对标定板上六个点P_i进行拍照，通过采集拍照获得的图像上对应的点建立数关系，从而求解出摄像机的内、外参数，其中：

摄像机内、外参数是描述三维世界到二维像素的映射关系，有：

P_ccd＝MP_w＝K[R|T]P_w

式中，M为世界坐标系P_w到像素坐标系P_ccd的投影矩阵；K为摄像机内参数；[R|T]为摄像机外参数，即摄像机的姿态，R为3×3的旋转矩阵，T为平移的三维向量；

步骤3、双目视觉摄像机系统的摄像机一及摄像机二分别采集固体发动机两节移动段图像，对移动的筒段实时地进行图片数据采集，对采集的多张图片进行特征匹配处理，设摄像机一及摄像机二分别获取的图片为图片Image1、图片Image2，则具体包括如下步骤：

步骤301、对图像对快速SIFT匹配，获取特征点：

对图片Image1、图片Image2关键点进行SIFT尺度不变特征匹配算法提取对应的各特征点，其中，关键点为极值点；

步骤302、对步骤301获取的特征点进行RANSAC滤除错误匹配处理：

对图片Image1及图片Image2上的特征点随机采样一致性处理，从一组含有外点的数据中正确估计并迭代出数学模型参数，具体包括以下步骤：

步骤3021、设将P个数据点{x₁,x₂,…,x_P}拟合一个由至少n个点决定的模型，P≥n；

步骤3022、设迭代计数k＝1；

步骤3023、从P个数据点{x₁,x₂,…,x_P}中随机选取n个数据点{x₁,x₂,…,x_n}拟合一个模型，记为M1，n的初始值3；

步骤3024、给定容限误差ε，计算数据点{x₁,x₂,…,x_n}中相对于模型的残差在容限误差ε内的元素个数，将在容限误差ε内的数据点定义为内点，如果内点个数大于阈值t，算法终止，之后根据内点集合重新拟合模型，否则进入步骤3025；

步骤3025、设k＝k+1，如果k小于预先设定的K，跳至步骤3023，将得到的最新的内点集合和模型分别记为S1^*和M1^*，如果k不小于预先设定的K，采用具有当前内点最多的点集的模型，或者算法失败；

步骤303、通过步骤301与步骤302的处理方法获得图片Image1及图片Image2上最优的图像对点，从而排除掉不必要的噪声及其他干扰点，最终获取八组点对；

步骤4、建立双目视觉摄像机系统姿态，即求解基础矩阵，包括以下步骤：

步骤401、建立针对双目视觉摄像机系统多视图的极几何约束关系：

设对任意靶标点P2使用摄像机一及摄像机二来拍照，从而分别获得图片Image1及图片Image2，靶标点P2在图片Image1上的成像点为p₂，靶标点P2在图片Image2上的成像点为p₂′，则有：

p₂′^TFp₂＝0

式中，

为基础矩阵；

步骤402、令

则有：

即有

步骤402、采用步骤3所述的方法获得八组点对：

则得到如下代数方程：

步骤403、求解归一化变换关系矩阵T、T′：

在摄像机一的坐标系下建立新的图像像素坐标系，将原来的坐标系的八点像素(u_i，v_i)，i＝1，...，8，转换在以八点图像重心为坐标原点、每个坐标(u_i，v_i)到坐标原点的均方根距离规定为

的坐标系中，其转换矩阵记为T；

在摄像机二的坐标系下建立新的图像像素坐标系，将原来的坐标系的八点像素(u_i′，v_i′)，i＝1，...，8，转换在以八点图像重心为坐标原点、每个坐标(u_i′，v_i′)，到坐标原点的均方根距离规定为

的坐标系中，其转换矩阵记为T′；

步骤404、坐标归一化处理

式中，

为摄像机一所拍摄图片八个特征点归一化变换后的各坐标，

为摄像机一所拍摄图片八个特征点各坐标，

为摄像机二所拍摄图片八个特征点归一化变换后的各坐标，

为摄像机二所拍摄图片八个特征点各坐标；

步骤405、通过步骤402得到的代数方程八点法计算矩阵F_q；

步骤406、逆归一化求得基础矩阵F：F＝T′^TF_qT；

步骤5、双目视觉摄像机系统恢复结构：

通过三维场景的多张图像，恢复出该场景的三维结构信息以及每张图片对应的摄像机参数，包括以下步骤：

步骤501、利用欧式结构恢复n个三维点X_j，j＝1，...，n，在m张图像中的对应点的像素坐标x_ij；已知n个三维点X_j在m张图像中的对应点的像素坐标x_ij；m张图像对应的摄像机的内参数矩阵K_i，i＝1，...，m，且有：

x_ij＝M_iX_j＝K_i[R_iT_i]X_j

式中，M_i为第i图像对应的摄像机的投影矩阵，K_i为第i图像对应的摄像机的内参数矩阵，R_i第i图像对应的摄像机的旋转矩阵，T_i第i图像对应的摄像机的平移的三维向量；

步骤502、设定摄像机一的坐标系为世界坐标系Pw，则有：

x_1j＝M₁X_j＝K₁[I 0]X_j

x_2j＝M₂X_j＝K₂[R T]X_j

式中，x_1j为摄像机一所拍摄图片的极点像素坐标，x_2j为摄像机二所拍摄图片的极点像素坐标，M₁为摄像机一的投影矩阵，M₂为摄像机二的投影矩阵，K₁为摄像机一的内参数矩阵，K₂为摄像机二的内参数矩阵；

步骤503、利用步骤4得到的基础矩阵F与摄像机一的内参数矩阵K₁、摄像机二的内参数矩阵K₂求解本质矩阵E：

步骤504、将本质矩阵E分解成矩阵R与矩阵T，即E＝T×R＝[T_×]R，式中，T_×为T叉乘矩阵；

步骤505、将步骤504计算出的矩阵R与矩阵T代入步骤502所列公式中即可求得x_1j、x_2j；

步骤506、将步骤505求得x_1j、x_2j代入下式中，三角化求解空间三维点X_j坐标：

为世界坐标下所测点的三维坐标，d(·)为在像素投影平面上测量点与最优点距离，亦两者导数；

步骤6、通过接触式测量任意空间位置的两点空间坐标X₁、X₂，与用双目视觉摄像机系统测量出相对应的点为

根据向量关系得出

K_correct为先验性比例系数；在实时对接的过程中，双目视觉摄像机系统测量的所有点的三维坐标

2.如权利要求1所述的一种基于双目视觉的固体发动机多节筒段对接引导测量方法，其特征在于，所述步骤1中，建立透视投影相机模型时，假设P₁为被测物体的三维坐标(x，y，z)，P₁′为在相机成像面上的坐标，根据针孔成像及三角形相似原理，在齐次坐标系下，相机成像的模型为：

式(1)记为：

P₁′＝K[I 0]P₁ (2)

式(1)及式(2)中，K为摄像机的内参数变形矩阵，I为摄像机内参数矩阵，此处矩阵多包含一组三维向量，为后续的外参数矩阵提供位置，故此处全为0，不影响矩阵运算，它决定了空间点到图片点的映射关系；(cx，c_y)为成像光轴的主点坐标；θ为摄像机传感器CCD平面行列像素的倾斜角度；α、β分别为像平面x、y像素值对应实际尺寸的比例参数；I为摄像机内参数矩阵)；M为世界坐标系P_w到像素坐标系P_ccd的投影矩阵。

3.如权利要求1所述的一种基于双目视觉的固体发动机多节筒段对接引导测量方法，其特征在于，所述步骤2中，求解出摄像机的内、外参数包括以下步骤：

步骤201、用双目视觉摄像机系统对标定板上3组三维的六个点P_i拍照获取拍照图像，在拍照图像上对应采集六个点p_i，i＝1，...，6，于是建立关系如下：

式(3)中，u_i、v_i为分别为采集的点在像素平面上横向、纵向的坐标值，即p_i的像素坐标；m₁、m₂、m₃为三维坐标(x，y，z)在齐次坐标系下的投影矩阵；

将采集的六组点代入式(3)有：

步骤202、求解内、外参数

由(4)求得M矩阵，此处令M＝K[R T]＝ρ[A b]，

求解得出：

内参数：

α＝ρ²|a₁×a₃|sinθ，β＝ρ²|a₂×a₃|sinθ，其中，ρ为变换系数；u₀、v₀为摄像机像素平面原点的两个维度偏移量；

外参数：

r₂＝r₃×r₁，T＝ρK^-1b。

4.如权利要求1所述的一种基于双目视觉的固体发动机多节筒段对接引导测量方法，其特征在于，所述步骤301中，对所述图片Image1或所述图片Image2关键点进行SIFT尺度不变特征匹配算法提取对应的各特征点包括以下步骤：

步骤3011、建立高斯差分金字塔：

对采集的所述图片Image1或所述图片Image2用不同方差的高斯核进行卷积进行分层后，进行降采样，使得图片尺寸缩小一半，从而模拟近大远小、近处清晰、远处模糊的情况；

步骤3012、关键点，即极值点，的定位：

对所述图片Image1或所述图片Image2阈值化预处理，利用图像中单位像素点x，y，σ方向上进行求导确定极值点，对处理的结果再进行低对比度点的舍去、根据海森矩阵

对边缘效应的消除，去除噪点干扰；

步骤3013、确定关键点主方向，为关键点赋予方向：

统计以特征点为圆心，以该特征点所在对的高斯图像的尺度的1.5倍为半径的圆内的所有的像素的梯度方向及其梯度幅值，并做1.5σ的高斯滤波，在最接近关键点尺度值σ的高斯图像上进行统计；

步骤3014、构建关键点描述符；

将高斯图像关键点周围某区域旋转至主方向上，取m＝3、d＝4的小区域划分开，再通过高斯加权、投票的方式统计每个子区域中的8个方向梯度长度，其中，m为区域细分最小单元格数量，d为区域细分最小单元格组数量。

5.如权利要求1所述的一种基于双目视觉的固体发动机多节筒段对接引导测量方法，其特征在于，所述步骤504中，利用奇异值SVD分解得出R矩阵，利用最小特征值对应的特征向量关系得出T矩阵：

式中，U为左奇异矩阵，W为自定义矩阵

V为右奇异矩阵，u₃为U矩阵的第三列；

根据上式选择一个点进行三角化，正确的一组解能保证点在摄像机一及摄像机二的z坐标均为正，对于多个点进行三角化，选择在两个摄像机系下z坐标均为正的个数最多的那组矩阵R与矩阵T。

Images