CN108107462A

CN108107462A - Rtk与高速相机组合的交通标志杆姿态监测装置及方法

Info

Publication number: CN108107462A
Application number: CN201711317119.1A
Authority: CN
Inventors: 刘志平; 李桂南; 徐永明; 杨磊; 余接情
Original assignee: China University of Mining and Technology CUMT
Current assignee: China University of Mining and Technology CUMT
Priority date: 2017-12-12
Filing date: 2017-12-12
Publication date: 2018-06-01
Anticipated expiration: 2037-12-12
Also published as: CN108107462B

Abstract

本发明提供了GNSS‑RTK与高速相机组合的交通标志杆姿态监测装置及方法，其中，监测装置主要包括：GNSS‑RTK接收机、高速相机、接收机与相机连接圆环(相机环)，在相机环内嵌高速相机，环顶部通过双向螺栓将接收机与高速相机固连，相机环底部螺母接口连接移动载体。监测方法为：对高速相机进行标定，同步开启视频拍摄和实时RTK测量，使用自适应综合特征法对监测视频进行关键帧选取，通过坐标插值实现高速相机和RTK坐标基准统一；利用SIFT算法提取交通标志杆特征点，通过多像相对定向稳健估计方法获取相对姿态矩阵并进行交通标志杆多像视觉测量；利用SVD分解算法建立空间直线模型并计算交通标志杆倾斜角等姿态参数，最后由倾斜角预警阈值实现交通标志杆姿态监测。

Description

RTK与高速相机组合的交通标志杆姿态监测装置及方法

技术领域

本发明涉及GNSS-RTK、计算机视觉和智慧交通领域，具体涉及一种结合RTK技术和计算机视觉的对交通标志杆姿态进行监测的装置及方法。

背景技术

交通标志杆，即交通设施使用的标杆，一般交通标志杆可以分为：1、单悬式：包括单悬式单臂交通标志杆、单悬式双臂交通标志杆以及单悬式三臂交通标志杆；2、双悬式：包括双悬式单臂交通标志杆、双悬式双臂交通标志杆以及双悬式三臂交通标志杆。其在使用过程中受到地形沉降、雨雪侵蚀及人为破坏等因素影响，会导致其姿态变化，产生变形、倾斜、倒塌等，会危及市民的安全，并在一定程度上影响市民的生活。因此，交通标志杆姿态监测是目前在城市智能化管理中亟待解决的技术问题。

目前的交通标志杆的监测方法主要是全站仪测量、GNSS-RTK测量、三维激光扫描仪扫描等。其中，全站仪测量是传统、直接的测量方法，需要架设测站，测量精度低、自动化弱；GNSS-RTK具备高精度、自动化和全天候连续测量能力，但站-星通视要求和点测量方式难以适用于大高差垂向交通标志杆姿态监测；三维激光扫描仪扫描是目前自动化水平、测量精度最高的技术，但其价格高昂、仪器笨重和高功耗弱点难以大范围推广。综上可知，上述单一测量方法及技术难以实现交通标志杆姿态的动态、连续、高精度监测。此外，具有成本低、测量精度高的单目视觉测量发展迅速，其应用逐渐被拓到精密测量、姿态解算等领域，但还未出现专门针对交通标志杆监测的视觉测量方法。如：专利CN106043355A，仅将摄像测量方法用于铁路检测车沉降及位姿测量；专利CN105740877A与CN105719499A则通过像片识别技术识别道路上的交通标志。鉴于此，针对较为成熟的高精度GNSS-RTK技术和正在发展的低成本、高精度的视觉测量技术的互补性，提出RTK、高速相机组合新装置和附摄站坐标信息的多像单目视觉坐标测量新方法进行交通标志杆姿态监测，可以实现交通标志杆姿态的低成本、快捷式、自动化和高精度监测。

发明内容

本发明的目的在于克服上述局限，结合GNSS测量及视觉测量技术，从而提供一种RTK与高速相机组合的交通标志杆姿态监测装置及方法，该装置和方法可以有效地提高外业工作效率和监测精度，从而实现城市交通标志杆的低成本、快捷式、高精度自动化监测。

本发明主要分为交通标志杆姿态监测装置和交通标志杆姿态监测方法。

RTK技术与高速相机组合的交通标志杆姿态监测装置，包括以下部件：GNSS接收机、相机环和高速相机；其中，相机环顶部通过双向螺栓与GNSS接收机连接，同时双向螺栓固定高速相机于相机环，相机环底部连接螺母接口，用于整个监测装置的固定，可固定于云台、对中杆上。

RTK技术与高速相机组合的交通标志杆姿态监测方法

(1)摄影序列像片关键帧提取：

将视频高速相机拍摄监测视频分解成系列的像片后，会出现大量重叠度高的像片，将所有的像片都纳入监测中不仅影响监测计算的效率，同时也降低监测的精度，故需要选取其中关键帧作为监测的数据。其计算方法如下：

步骤一：帧间综合特征向量计算。

颜色是一幅图像的基本特征，灰度直方图反映的可以一幅图像灰度分布的总体统计性质，当两帧间的灰度直方图发生剧烈变化时，此时进入了下一个镜头；每一帧图像的特征点都在不断变化，统计利用SIFT算法获得匹配成功点的数量占特征提取总点数的百分比，以此作为关键帧选取依据；连续帧间匹配具有公共特征点，特征点区域的分布反映图像变化，可将匹配散点的凸包多边形面积与总面积比值作为关键帧选取依据。将监测视频第一帧设为关键帧，分别用D_k,k+1、N_k,k+1、S_k,k+1表示视频第k,k+1帧图像的灰度直方图欧氏距离、特征点配准率、配准散点凸包面积比率，记第k帧与第k+1帧的帧间综合特征差异为α_k,k+1,其计算公式如下：

α_k,k+1＝(D_k,k+1,N_k,k+1,S_k,k+1)^T

式中，表示归一化直方图在第i个灰度级上的值，分别表示第k,k+1帧采用SIFT特征提取的点数，M^(s)(k,k+1)表示SIFT匹配准确的点数，S^(m)(k,k+1)表示第k帧与第k+1帧的匹配散点的凸包多边形面积，S^(a)表示视频帧图像总面积。

步骤二：自适应综合特征法关键帧选取。

单一的颜色特征或者特征点对，无法准确的反应图像特征的变化情况，造成关键帧选取的不准确，鉴此，综合颜色特征、特征点对，同时加上基于特征点对的形状特征，进行综合特征分析。记第k帧与第k+1帧的帧间综合特征差异均值(分别为颜色特征、特征点对、形状特征的均值)。将综合特征差异进行均值规范化，经过处理的数据符合标准正态分布，则综合特征差异为：

式中，

设置差异阈值β_f，如果β_k,k+1≤β_f，则将第k+1帧作为关键帧存入监测像片数据集中。

(2)摄影站点站心直角坐标计算。

步骤一：RTK站心直角坐标的东北天三维分量拟合建模。

由于高速相机与RTK没有共用时钟，无法保证摄影与RTK定位历元同步，因此需要通过插值算法获取摄影站点坐标。设RTK定位启动时刻为T₀、采样间隔为ΔT，则第n历元RTK定位的时间和站心直角坐标(东北天)分别记为T_n＝T₀+nΔT、采用三个及以上连续历元的站心直角坐标基于二次多项式可将东北天三维坐标分量分别进行拟合建模，二次多项式系数记为和则拟合模型如下：

步骤二：t_i历元摄影站点的站心直角坐标插值计算

利用最小二乘原理求解拟合模型的二次多项式系数，进一步设第i幅关键帧拍摄时间为t_i且则由二次多项式可插值得到t_i历元摄影站点站心直角坐标。

式中，ΔH为GNSS接收机中心到高速相机成像中心的垂线距离。

(3)多像相对定向稳健最小二乘方法。

假定相邻的i,j,k三幅关键帧对应的历元为t_i,t_j,t_k，其摄站三维坐标分别记为Xⁱ＝(Xⁱ,Yⁱ,Hⁱ)^T，X^j＝(X^j,Y^j,H^j)^T，X^k＝(X^k,Y^k,H^k)^T。某同名像点在像片i,j,k中的像平面坐标分别为(xⁱ,yⁱ)，(x^j,y^j)和(x^k,y^k)，顾及影像主距fⁱ,f^j,f^k，则可将同名像点的非齐次坐标分别记为xⁱ＝(xⁱ,yⁱ,-fⁱ)^T，x^j＝(x^j,y^j,-f^j)^T和x^k＝(x^k,y^k,-f^k)^T。那么，利用i,j,k三幅关键帧计算相对姿态矩阵R^ij,R^jk，具体计算方法如下：

步骤一：利用两幅像片的本质矩阵原理分别列立关键帧i至关键帧j、关键帧j至关键帧k的双像相对定向模型(表示基线向量叉乘的矩阵表达)，

E^ij平差模型矩阵形式：

(xⁱ)^TE^ijx^j＝0

式中，

E^jk平差模型矩阵形式：

(x^j)^TE^jkx^k＝0

式中，

步骤二：顾及本质矩阵相关性的多像相对定向平差模型：

利用三个摄站形成的基线向量闭合差条件b^ik＝b^ij+b^jk和姿态矩阵传递条件R^ik＝R^ij·R^jk，可以导出本质矩阵关系式E^ik＝E^ij·R^jk+E^jk·(R^jk)^T·R^ij·R^jk，则有：

式中，R^ij,R^jk分别表示第i幅至第j幅关键帧的姿态矩阵、第j幅至第k幅关键帧的姿态矩阵。

上式表明E^ij,E^jk两个双像本质矩阵可表达第三个双像本质矩阵E^ik，据此则可建立顾及本质矩阵E^ij,E^jk相关性的多像相对定向平差模型，其公式如下：

步骤三：相对姿态矩阵的稳健最小二乘方法。

通过步骤一获得双像本质矩阵E^ij,E^jk，进一步可通过下式计算相对姿态矩阵R^ij,R^jk，通用计算公式如下：

其中，

获得相对姿态矩阵R^ij,R^jk的初值后，进一步利用步骤二新模型迭代更新本质矩阵E^ij,E^jk。此外，针对同名点匹配错误等粗差情况，引入稳健最小二乘方法进行迭代估计，当E^ij,E^jk迭代收敛后，重新计算R^ij,R^jk，直至迭代收敛。步骤二的多像相对定向模型稳健估计公式如下：

式中，表示待求的本质矩阵拉直向量，分别表示系数阵，为观测值，为约束向量。

式中，表示稳健等价权阵，表示约束向量的无限权，

(4)交通标志杆多像单目视觉坐标测量方法。

假设相邻的i,j,k三幅关键帧均进行了交通标志杆分离，对应的历元为t_i,t_j,t_k，其摄站三维坐标分别记为Xⁱ＝(Xⁱ,Yⁱ,Hⁱ)^T，X^j＝(X^j,Y^j,H^j)^T，X^k＝(X^k,Y^k,H^k)^T。交通标志杆同名像点p在像片i,j,^k中的像平面坐标分别为和顾及影像主距fⁱ,f^j,f^k，则可将同名像点的非齐次坐标分别记为和摄站三维坐标已确定，结合i,j,k幅像片的相对姿态矩阵R^ij,R^jk，利用多幅像片模拟多目视觉成像的三角测量模型，建立附摄站坐标信息的单目视觉坐标测量模型，实现交通标志杆三维重建。其计算方法如下：

步骤一：假定第j幅关键帧为左高速相机像片，第i幅关键帧为右高速相机像片，则由双目视觉测量原理可得像点p的站心直角坐标为：

式中，

步骤二：同理，假定第j幅关键帧为左高速相机像片，第k幅关键帧为右高速相机像片，则由双目视觉测量原理可得像点p的站心直角坐标为：

式中，

步骤三：多像单目视觉坐标测量。

采用i,j,k三幅关键帧进行视觉测量，可以列出6个方程求解其三维坐标，方程组的自由度从双像1个自由度提高到三像的3个自由度。因此，多像单目视觉测量可获得较双目视觉更高精度的测量坐标，其估计方法如下：

式中，

(5)交通标志杆倾斜度计算。

基于(4)交通标志杆多像单目视觉坐标测量，可以求解某交通标志杆若干像点(在标志杆直线段选取3个以上像点)的三维坐标，显然这些坐标在空间呈柱状分布。因此，需对这些空间点坐标进行空间直线建模，求解直线参数即可得到空间直线的方向矢量，进而计算交通标志杆的姿态参数(如倾斜角)。记交通标志杆q的特征点三维坐标为坐标矩阵X^(q)，根据三维坐标点拟合出一条空间直线，可得到拟合空间直线的方向向量，通过方向向量即可求得交通标志杆的倾斜角，具体的计算方法如下：

步骤一：坐标矩阵去重心化。

计算交通标志杆特征点的三维坐标的重心坐标值，可得到三维坐标的重心，对三维坐标进行去重心化处理，得到关于坐标原点对称的特征点三维坐标数据，完成坐标矩阵的去重心化，计算公式如下：

式中，为交通标志杆q特征点三维坐标重心，为交通标志杆q第p个特征点三维坐标，为去重心化后的三维坐标。

步骤二：SVD分解求空间直线方向。

得到去重心化后的坐标矩阵后，需要使用SVD方法对坐标矩阵进行分解，其中V阵的第一列即为拟合直线的方向向量，将V阵的第一列取出即可得到拟合空间直线的方向向量，计算公式如下：

式中，坐标矩阵 U_n×n为正交阵，S_n×3为对角阵，d^(q)为交通标志杆q拟合直线的方向向量，v₁₁,v₂₁,v₃₁为V_3×3的第一列元素。

步骤三：直线与水平面的夹角。

由交通标志杆q所拟合的直线方向向量不能直接得到交通标志杆姿态信息，因而需要对直线方向向量进一步计算，方可得到其斜率。记拟合直线与水平面(XOY)的夹角为θ，其计算公式如下：

或

如果设定倾斜角预警阈值为θ_d，当θ＜θ_d时，意味着交通标志杆倾斜过大，需要提醒交通标志维修人员尽快校正该交通标志杆姿态；当θ∈(θ_d,90°)，说明交通标志杆处于正常状态，无需维修。

综上所述，本发明具有以下优点：该装置和方法可以有效地提高外业工作效率和监测精度，从而实现城市交通标志杆的低成本、快捷式、高精度自动化监测。

附图说明

图1是本发明监测装置的正视图；

图2是本发明监测装置的侧视图；

图3是本发明监测装置的手持式安装图；

图4是本发明监测装置的车载式安装图；

图5是本发明监测装置视频关键帧示意图；

图6是本发明监测方法流程图；

图中标号：1-GNSS接收机、2-双向螺栓、3-相机环、4-高速相机、5-螺母接口、6-对中杆、7-滑轨云台、8-移动载体。

具体实施方式

为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

交通标志杆姿态监测装置如附图1、图2所示，监测方法流程图如图6所示，包括GNSS接收机1、相机环3和高速相机4。将高速相机4的圆筒镜头套入相机环3，调整高速相机4位置到理想状态，将双向螺栓2小端旋入相机环3顶部接口，固定高速相机4；然后将GNSS接收机1旋入双向螺栓2大端，即可组装成交通标志杆姿态监测装置。

交通标志杆姿态监测装置的移动载体安装示意图如图3、4所示，包括：

手持式；交通标志杆姿态监测装置通过相机环3下的螺母接口5固定于对中杆6上，组成手持式交通标志杆姿态监测装置；

车载式；交通标志杆姿态监测装置过相机环3下的螺母接口5固定在滑轨云台7上，将滑轨云台7置于移动载体8上，调整滑轨云台7可使交通标志杆姿态监测装置对中，组成车载式交通标志杆姿态监测装置。

交通标志杆姿态监测装置视频关键帧示意图如图5所示，图中C1～C3为交通标志杆姿态监测装置拍摄视频关键帧i,j,k所处位置。

RTK与高速相机组合的交通标志杆姿态监测方法流程图如图6所示，整个监测流程分为数据获取、数据预处理、多像三维重建、姿态监测四大部分，具体的监测实施步骤如下：

步骤一：拍摄标定板照片。将高速相机4连接至笔记本电脑，在室外的环境下调节高速相机4的焦距到适当的范围使得高速相机4能够清晰地拍摄道路两旁的交通标志杆，然后固定焦距，拍摄不同姿态的棋盘标定板若干幅像片，得到高速相机的待标定像片。

步骤二：标定高速相机4。从待标定像片中选择10幅以上轮廓清晰的作为标定像片，采用张正友棋盘标定法对标定像片进行标定，然后采用LM(Levenber-Marquarat)算法迭代进行最小化处理，进一步优化所有的参数，记高速相机内参的焦距、光心像素坐标分别为f、(c_x,c_y)。

步骤三：利用监测装置采集数据。将监测装置(如图1、图2所示)固定于滑轨云台上并放置在移动载体8上(如图4车载式)或图3手持式，设置好高速相机的拍摄高度及拍摄视场和GNSS接收机的RTK测量频率(设置为1Hz)，连接至笔记本电脑；控制移动载体在公路上行驶，待移动载体8匀速前行后，同时开启高速相机4视频拍摄软件及GNSS接收机的实时RTK测量，获得摄影站点实时位置并拍摄路边的交通标志杆；拍摄完成后停止高速相机的视频拍摄及GNSS接收机的RTK测量，导出监测视频及RTK测量数据。

步骤四：自适应综合特征差异法关键帧选取。使用视频分解工具，将监测视频按帧进行分解，记第k帧与第k+1帧的帧间综合特征差异为α_k,k+1，其计算根据公式：

记为α_k,k+1的均值，通过下式计算综合特征差异，

式中，

设置差异阈值为β_f，如果β_k,k+1≤β_f，则将第k+1帧作为关键帧存入监测像片数据集中，重复以上的选取方法，直到遍历完全部检测视频分解帧。

步骤五：测站点坐标拟合。读取GNSS接收机1，RTK测量数据，依据关键帧对应的时间，提取相邻的3个历元的坐标值，记历元的站心直角坐标分别为将坐标代入以下拟合模型：

步骤六：摄站点坐标计算。由步骤五可得测站坐标的时间维拟合模型参数，将关键帧i对应时间代入下式，求解摄站点站心直角坐标。

式中，ΔH为GNSS接收定位中心到高速相机4成像中心的铅锤距离。

步骤七：图像匹配。在确定像片中有同一交通标志杆的情况下，选取相邻的三幅关键帧像片及对应的摄站点坐标，其多像连续拍摄如图5所示，在道路两旁的6个交通标志杆的中，标志杆U3与标志杆D3同时出现在三个摄站所拍摄的像片中，即标志杆U3与D3的特征点均可称为同名像点，将三幅关键帧i,j,k摄站的三维坐标分别标记为：Xⁱ,X^j，X^k，顾及影像主距fⁱ,f^j,f^k的像片像平面坐标下记同名像点的非齐次坐标记为：(xⁱ,yⁱ,fⁱ)，(x^j,y^j,f^j)，(x^k,y^k,f^k)，易得fⁱ＝f^j＝f^k＝f。使用SIFT算法对i,j、j,k进行特征点的提取及预匹配，然后利用约束准则对预匹配结果进行优化，得到匹配效果更好的点对。

步骤八：双像定向。将i,j,k同名像点的非齐次坐标分别代入以下平差模型，求解双像本质矩阵E^ij、E^jk，

双像定向i,j平差模型：

式中，

双像j,k平差模型

式中，

然后将双像本质矩阵E^ij、E^jk分别代入以下公式计算相对姿态矩阵R^ij,R^jk初值：

式中，b＝(b_X,b_Y,b_Z)^T为基线，||·||表示向量模，e为双像本质矩阵元素。

步骤九：多像相对定向。将步骤八计算的相对姿态矩阵初值R^ij，R^jk代入以下平差模型求得更高精度的本质矩阵E^ij、E^jk：

其中，

步骤十：稳健最小二乘方法迭代优化。使用步骤八解得本质矩阵E^ij、E^jk初值，进而利用步骤九迭代计算直到收敛至高精度的E^ij、E^jk，同时计算它们的相对姿态矩阵R^ij、R^jk，直至相对姿态矩阵R^ij、R^jk迭代收敛，

式中，表示本质矩阵拉直向量。

步骤十一：多像单目视觉坐标测量。利用神经网络分类算法将相邻的i,j,k三幅关键帧中交通标志杆图像提取，使用基于SIFT特征提取算法提取i,j,k三幅关键帧交通标志杆特征，记对应的历元为t_i,t_j,t_k，其摄站三维坐标分别记为Xⁱ＝(Xⁱ,Yⁱ,Hⁱ)^T，X^j＝(X^j,Y^j,H^j)^T，X^k＝(X^k,Y^k,H^k)^T。交通标志杆同名像点p在像片i,j,k中的像平面坐标分别记为和顾及影像主距fⁱ,f^j,f^k，则将同名像点的非齐次坐标分别记为和将同名像点p的非齐次坐标及步骤十所得R^ij、R^jk代入下式可求像点p的三维坐标：

式中，

利用同样的方法，求解其他特征点的三维坐标。

步骤十二：三维坐标去重心化。将交通标志杆q特征点三维坐标代入到下式中，求解重心化后的交通标志杆特征点三维坐标：

式中，为交通标志杆q第p个特征点三维坐标，为去重心化后的三维坐标。

步骤十三：方向向量求解。对步骤十二所得的三维坐标矩阵进行SVD矩阵分解，通过V阵第一列元素获取拟合直线的方向向量，即利用下式计算：

步骤十四：交通标志杆倾斜角计算。将步骤十三所得拟合直线的方向向量[v₁₁,v₂₁,v₃₁]代入下式计算交通标志杆的倾斜角，

设定倾斜角预警阈值为θ_d，当θ＜θ_d时，及时发出警示，提醒交通标志维修人员尽快对该交通标志杆进行维修。

Claims

1.一种RTK与高速相机组合的交通标志杆姿态监测装置及方法，其特征在于：包括GNSS接收机、相机环和高速相机，相机成像中心与接收机中心铅锤距离为ΔH，所述相机环顶部通过双向螺栓与GNSS接收机连接，同时双向螺栓固定高速相机于相机环，相机环底部连接螺母接口，适用于手持式和车载式。

2.一种RTK与高速相机组合的交通标志杆姿态监测方法，其特征在于：包括以下步骤：

A、高速相机在不同姿态下拍摄棋盘标定板像片，使用张正友棋盘标定法完成高速相机内参数的标定；

B、将交通标志杆姿态检测装置安装于移动载体上，同步开启高速相机、GNSS接收机，进行交通标志杆监测视频拍摄、高频实时GNSS-RTK测量；

C、按帧分解交通标志杆监测视频，使用自适应综合特征法提取视频的关键帧；

D、根据GNSS接收机与高速相机的空间位置关系，计算相应时刻拍摄站站心直角坐标；

E、选取三幅及以上关键帧，使用SIFT算法进行特征点匹配，利用多像相对定向稳健估计方法计算姿态矩阵；

F、利用三幅及以上关键帧模拟多目视觉成像的三角测量模型，建立附摄站坐标信息的多像单目视觉坐标测量模型，求解交通标志杆特征点坐标；

G、建立交通标志杆特征点序列的空间直线模型，利用SVD求解模型方程，通过空间直线方向向量计算拟合标志杆的倾斜角。

3.根据权利要求2所述的RTK与高速相机组合的交通标志杆姿态监测方法，其特征在于：所述计算相应时刻拍摄站站心直角坐标具体步骤为：

A、读取RTK测量三个及以上连续历元的站心直角坐标、时间，建立时间与站心直角坐标多项式拟合方程模型，最小二乘法求解拟合方程；

B、由拟合方程，以插值方式求单个历元的测站站心直角坐标；

C、在测站站心直角坐标竖直方向增加ΔH即得到摄站站心直角坐标。

4.根据权利要求2所述的RTK与高速相机组合的交通标志杆姿态监测方法，其特征在于：所述利用多像相对定向稳健估计方法计算姿态矩阵步骤为：

A、分别用i,j,k表示选取的三幅及以上关键帧，利用两幅像片的本质矩阵原理列出i,j与j,k相对定向平差模型，求解双像本质矩阵E^ij,E^jk；

B、分别利用本质矩阵元素按照下式计算i,j与j,k的相对姿态矩阵初值：

其中，b＝(b_X,b_Y,b_Z)^T为双像基线，||·||表示向量模，e为双像本质矩阵元素；

C、利用三个及以上摄站形成的基线向量闭合条件和姿态矩阵传递条件，使用i,j与j,k的两个双像本质矩阵表示i,k双像本质矩阵，导出i,k的本质矩阵关系式，建立顾及i,j与j,k本质矩阵相关的多像相对定向平差模型；

D、利用i,j与j,k的相对姿态矩阵初值，建立多像相对定向平差模型，进而利用稳健最小二乘方法迭代计算本质矩阵，收敛后再次计算i,j与j,k的相对姿态矩阵，重复以上步骤，直至i,j与j,k的相对姿态矩阵收敛，多像相对定向平差模型稳健估计方法为：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mover> <mi>&alpha;</mi> <mo>^</mo> </mover> <mi>E</mi> </msub> <mo>=</mo> <msub> <mi>Q</mi> <mi>E</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>B</mi> <mi>T</mi> </msup> <msubsup> <mover> <mi>N</mi> <mo>&OverBar;</mo> </mover> <mi>A</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mover> <mi>W</mi> <mo>&OverBar;</mo> </mover> <mo>+</mo> <msup> <mi>C</mi> <mi>T</mi> </msup> <msub> <mover> <mi>P</mi> <mo>&OverBar;</mo> </mover> <mi>Z</mi> </msub> <mover> <mi>Z</mi> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>Q</mi> <mi>E</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msup> <mi>B</mi> <mi>T</mi> </msup> <msubsup> <mover> <mi>N</mi> <mo>&OverBar;</mo> </mover> <mi>A</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mi>B</mi> <mo>+</mo> <msup> <mi>C</mi> <mi>T</mi> </msup> <msub> <mover> <mi>P</mi> <mo>&OverBar;</mo> </mover> <mi>Z</mi> </msub> <mi>C</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中，表示待求的本质矩阵拉直向量，分别表示系数阵，为观测值，为约束向量。表示稳健等价权阵，表示约束向量的无限权，

5.根据权利要求2所述的RTK与高速相机组合的交通标志杆姿态监测方法，其特征在于：所述F步骤具体为：

A、以第j幅关键帧为左高速相机像片，第i幅关键帧为右高速相机像片，则由双目视觉测量原理列出同名像点的站心直角坐标与j摄站的站心直角坐标及j,i关键帧相对姿态矩阵相关的4个方程；

B、以第j幅关键帧为左高速相机像片，第k幅关键帧为右高速相机像片，则由双目视觉测量原理列出同名像点p的站心直角坐标与j摄站的站心直角坐标及j,k关键帧相对姿态矩阵相关的4个方程；

C、同时顾及j,i、j,k双像相对姿态矩阵和它们之间的相关性，采用i,j,k三幅关键帧进行视觉测量，则由双目视觉测量原理列出同名像点的站心直角坐标与j摄站的站心直角坐标及j,i、j,k关键帧相对姿态矩阵相关的6个方程，求解方程获得像点三维坐标：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>X</mi> <mi>p</mi> </msub> <mo>=</mo> <msup> <mi>X</mi> <mi>j</mi> </msup> <mo>+</mo> <mi>&Delta;</mi> <msub> <mover> <mi>X</mi> <mo>^</mo> </mover> <mi>p</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&Delta;</mi> <msub> <mover> <mi>X</mi> <mo>^</mo> </mover> <mi>p</mi> </msub> <mo>=</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>A</mi> <mi>p</mi> <mi>T</mi> </msubsup> <msub> <mi>A</mi> <mi>p</mi> </msub> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msubsup> <mi>A</mi> <mi>p</mi> <mi>T</mi> </msubsup> <msub> <mi>L</mi> <mi>p</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中，