CN115856959A - 手机相机辅助的多卫星导航系统选星方法及系统 - Google Patents

Abstract

本发明涉及一种手机相机辅助的多卫星导航系统选星方法，该方法的基本步骤如下：采用张正友棋盘格相机标定法实现对手机相机的标定；利用手机相机对周围环境进行多角度拍摄；基于手机的原始观测数据以及广播星历计算出其概略坐标以及可见卫星的坐标；根据单目相机模型计算出可见卫星投影于手机相机照片上所对应的像素坐标；利用OpenCV将计算得到的卫星像素坐标在手机照片图像中标识出来；根据图像筛选出非视距(Non‑line of sight，NLOS)卫星，避免手机GNSS定位异常，有效提高手机的GNSS定位性能。

Description

手机相机辅助的多卫星导航系统选星方法及系统

技术领域

本发明属于GNSS导航领域，特别涉及一种手机相机辅助的多卫星导航系统选星方法及系统。

背景技术

全球卫星导航系统(Global navigation satellite system，GNSS)是利用卫星在全球范围内为用户提供实时定位服务的空基无线电导航定位系统，具有实时全天候、连续高精度等特点。目前，由美国的GPS、中国的BDS、欧盟的Galileo以及俄罗斯的GLONASS组成的四大全球卫星导航系统，在轨卫星数量超过100颗，导航信号频率达到十余个。这极大地改善了GNSS定位的卫星几何构型，增加了观测值冗余度，提升了GNSS定位的精度与可用性。如今，GNSS精密位置服务逐渐从专业领域的有限需求走向大众用户的广泛需求，以智能手机、无人机、自动驾驶汽车为代表的智能载体，构成了规模庞大的大众应用市场。内置GNSS模块、加速度计、陀螺仪、磁力计和相机等多种传感器的智能手机，正凭借其普遍性、便携性和成本低等优良特性，成为导航与位置服务(Location based services,LBS)的主流载体。这也对智能手机GNSS导航定位的精度、连续性和可靠性等方面，提出了更高的要求。

但是，受限于GNSS本身的脆弱性，其观测信号易被遮挡、干扰和欺骗，导致其定位性能下降明显。并且，智能手机GNSS模块一般采用全方向辐射的线性极化天线和低成本、低功耗的接收机芯片，在城市等复杂环境下使得其观测值更容易受到非直射信号影响，引起的多路径误差高达十几米，甚至上百米，使得手机GNSS定位的精度和可靠性显著变差。在以往的GNSS选星方法中，通常观测值残差、截止高度角和信噪比等指标，剔除受多路径影响的异常观测。然而，智能手机GNSS的多维粗差会导致观测值残差间的污染，异常观测与高度角的相关性较弱，非直射信号的信噪比数值又较高，这导致常规GNSS选星方法的应用受到了限制。因此，研究适用于智能手机GNSS非视距信号识别与剔除的选星方法，是提升真实城市环境下手机GNSS定位性能的关键问题。

针对上述问题，本发明给出了一种手机相机辅助的多卫星导航系统选星方法，利用手机自带的相机传感器，通过视觉定位技术，客观、准确地排除GNSS观测的NLOS信号，削弱多路径误差对手机GNSS定位的影响，为后续定位解算提供干净、可靠的观测值。

发明内容

本发明提供了一种手机相机辅助的多卫星导航系统选星方法，能够筛选出NLOS卫星，避免手机GNSS定位异常，有效提高手机的GNSS定位性能。为达到上述目的，本发明的方法总体结构如图1所示，技术方案如下所述：

手机相机辅助的多卫星导航系统选星方法，

采用张正友棋盘格相机标定法对手机相机进行标定；

利用手机相机对周围环境进行多角度拍摄，并基于手机的原始观测数据以及广播星历计算出其概略坐标以及可见卫星的坐标；

剔除不健康的卫星以及低于截止高度角的卫星，并且：

若剩余可见卫星数小于选星数目，则将剩余可见卫星作为选星结果；

否则，根据单目相机模型计算出可见卫星投影于手机相机照片上所对应的像素坐标，利用OpenCV将计算得到的卫星像素坐标在手机照片图像中标识出来，根据图像筛选出非视距(Non-line of sight，NLOS)卫星，得到最终的选星结果。

在上述的手机相机辅助的多卫星导航系统选星方法，打印一张黑白间距已知的棋盘格，并固定在平面上。针对棋盘格拍摄10～20张图片，检测图片中的特征角点，根据角点的位置信息以及图像中的坐标，解算标定用的棋盘格平面到图像平面的单应性矩阵，利用解析解估算方法以及最大似然估计方法得到手机相机内参的最优解。

在上述的手机相机辅助的多卫星导航系统选星方法，设定选星时间间隔T，每隔时间T对周围环境进行多角度拍摄，同时记录手机的姿态角。基于手机原始观测数据以及多系统卫星广播星历，计算所有可见卫星以及手机在地心地固坐标系下的三维坐标。

在上述的手机相机辅助的多卫星导航系统选星方法，设定选星数目k，剔除不健康的卫星以及低于截止高度角的卫星，如果剩余可见卫星数小于选星数目，则将剩余可见卫星作为选星结果。否则，根据小孔成像定理构造单目相机模型，代入手机与卫星在地心地固坐标系下的三维坐标、手机的姿态角以及手机相机的内参矩阵，计算剩余可见卫星投影于手机相机图像上像素点对应的像素坐标。

在上述的手机相机辅助的多卫星导航系统选星方法，根据畸变系数对手机相机图像进行畸变修正，利用OpenCV标识出卫星对应的像素点。根据多角度的手机相机图像，筛选出所有未被周围环境遮挡的视距(Line of sight，LOS)卫星，如果某卫星系统的LOS卫星数少于等于1颗，则删去该系统，得到最终的t时刻选星结果。t～t+T以内的历元均使用t时刻的选星结果，若t+T时刻的选星结果不可用，则沿用t时刻的选星结果，并在后续历元实施上述选星过程直至获得新的选星结果。

在上述的手机相机辅助的多卫星导航系统选星方法，手机单目相机成像模型基于小孔成像定理，在相机成像模型中存在多个坐标系：像素坐标系、图像坐标系、相机坐标系以及世界坐标系。根据成像关系可以得到相机坐标系与图像坐标系的关系。

在上述的手机相机辅助的多卫星导航系统选星方法，世界坐标系到相机坐标系的变换通过旋转与平移实现，将世界坐标系定义为地心地固坐标系。根据手机在地心地固坐标系的概略坐标，计算地心地固坐标系转到北东地导航坐标系的旋转矩阵，利用手机姿态角计算北东地导航坐标系转到载体坐标系的旋转矩阵，载体坐标系经过初等坐标变换即可转换为相机坐标系。

在上述的手机相机辅助的多卫星导航系统选星方法，由透镜形状引起的畸变为径向畸变，由透镜和成像面板不平行引起的畸变为切向畸变，根据径向畸变的数学模型，通过最大似然估计的方法求得最优径向畸变参数。

在上述的手机相机辅助的多卫星导航系统选星方法，对周围环境进行多角度拍摄时，每隔选星时间间隔T，使用手机摄像头分别从天顶方向、前方、后方、左方、右方方向拍摄多张照片，使拍摄图像覆盖全部周围环境，并记录拍摄时手机的姿态角。

手机相机辅助的多卫星导航系统选星系统，包括

第一模块：被配置为用于采用张正友棋盘格相机标定法对手机相机进行标定；

第二模块：被配置为用于利用手机相机对周围环境进行多角度拍摄，并基于手机的原始观测数据以及广播星历计算出其概略坐标以及可见卫星的坐标；

第三模块：被配置为用于剔除不健康的卫星以及低于截止高度角的卫星，并且：

若剩余可见卫星数小于选星数目，则将剩余可见卫星作为选星结果；

否则，根据单目相机模型计算出可见卫星投影于手机相机照片上所对应的像素坐标，利用OpenCV将计算得到的卫星像素坐标在手机照片图像中标识出来，根据图像筛选出非视距(Non-line of sight，NLOS)卫星，得到最终的选星结果。

本发明提出的手机相机辅助的多卫星导航系统选星方法，有如下优点：1.本发明无需借助其他外部传感器，仅利用一部手机及其内置传感器即可实现对视距卫星的识别与筛选。2.本发明通过手机相机图像处理实现对周围观测环境信息的获取，无需城市三维建模过程，算法易于实现。3.本发明能够有效地剔除NLOS卫星，为手机GNSS定位提供了一种可靠的选星方法。

附图说明

图1为本发明的选星方法总体流程图。

图2为手机相机标定实验流程图。

图3为选星实验示意图。

图4为地心地固坐标系与北东地导航坐标系的关系图。

图5为前右下载体坐标系与相机坐标系的关系图。

图6为相机成像模型中四种坐标系的关系图。

图7为基于OpenCV的NLOS卫星筛选流程图。

具体实施方式

以下将结合具体实施方式，对本发明的各模块进行详细说明。

本发明的主要步骤包括：

步骤1，选星实验前首先进行手机相机标定实验。打印一张间距已知的黑白棋盘格，并固定在平面上，移动手机相机拍摄10～20张不同位置、不同方向的黑白棋盘格图像，利用张正友棋盘格标定法，标定手机相机的内参矩阵以及畸变系数。

“张正友棋盘格相机标定法”主要通过实验的方法确定相机的参数，如内参矩阵、外参矩阵、畸变矩阵等。具体实验步骤如下：

1.打印一张间距已知的黑白棋盘格，固定在较为开阔的平面上。使用手机相机对棋盘格进行拍照，拍照时使棋盘格大致位于照片图像的左上、左下、右上以及右下位置，约占图像大小的四分之一，并使棋盘格完全置于图像内，且每张图像的像素长、像素宽一致，共拍摄10～20张照片。

2.检测出图像中的特征角点，根据角点的位置信息以及图像中的坐标，求解单应性矩阵H。设某点的三维世界坐标为[x_w,y_w,z_w,1]^T，对应的二维相机像素平面坐标为[u,v,1]^T，则标定用的棋盘格平面到图像平面的单应性关系为：

其中，s为尺度因子，K为相机的内参矩阵，R为旋转矩阵，T为平移矩阵。令

α和β是图像u轴和v轴上的尺度因子，γ为像素两轴非正交项。

若将世界坐标系设于标定棋盘格上，则此时z_w＝0，定义旋转矩阵R的第i列为r_i，可得：

其中，H被称为单应性矩阵，用来描述物体在世界坐标系和像素坐标系之间的位置映射关系，H＝[h₁ h₂ h₃]＝λK[r₁ r₂ t]。由于H是一个齐次矩阵，有一个元素为1，因此存在8个未知数，一对对应点可以提供两个方程，四对对应点即可求解矩阵H。

对于每张拍摄的棋盘格图片，检测图片中所有特征点，即黑白棋盘格的交叉角点，由于棋盘格标定纸中所有角点的空间坐标已知，且角点对应的图片中投影点的像素坐标已知，因此可以得到N>＝4个匹配点对。在实际应用中，受到噪声的影响，点对的位置存在一定误差，若采用直接线性解法通常无法得到最优解，因此，一般选择使用最大似然估计方法进行优化。

3.求解出相机内参矩阵后，即可对相机畸变参数进行估计。张正友标定法只关注影响最大的径向畸变，其数学表达式为：

x^′＝x+x[k₁(x²+y²)+k₂(x²+y²)²] (3)

y^′＝y+y[k₁(x²+y²)+k₂(x²+y²)²] (4)

将u^′＝u₀+αx^′+γy^′(令γ＝0)和v^′＝v₀+βy^′带入上式可得：

u^′＝u+(u-u₀)[k₁(x²+y²)+k₂(x²+y²)²] (5)

v^′＝v+(v-v₀)[k₁(x²+y²)+k₂(x²+y²)²] (6)

化为矩阵形式：

记作Dk＝d，其最小二乘解为：

k＝[k₁ k₂]^T＝(D^TD)^-1D^Td (8)

解算得到畸变系数k后，采用最大似然估计方法优化所有参数。

步骤2，选择选星实验场景、获取并初步处理数据。选择半遮挡高楼场景进行实验，采集手机GNSS原始观测数据。设定选星时间间隔T，T建议为10s，每隔T时刻对周围环境进行多角度拍摄，同时记录手机的姿态角。数据采集完毕后进行预处理，基于手机GNSS原始观测数据以及多系统卫星广播星历，采用标准单点定位(Standard single point，SPP)算法，解算地心地固坐标系下手机的概略坐标以及可见卫星的三维坐标、高度角和方位角。

选择半遮挡高楼场景进行选星实验数据的采集过程，高楼场景下NLOS的影响最为明显，能够更好地验证本发明的有效性。选定实验场地，采集手机在静止状态下的GNSS原始观测数据。采集结束后，使用手机相机对实验场地的周围环境进行拍照，分别从天顶方向、前方、后方、左方、右方等方向拍摄，并确保覆盖全部周围环境，拍摄时记录下手机的姿态角。

预处理的步骤主要是为了获得地心地固坐标系下用户位置的概略坐标以及所有可见卫星的坐标。利用标准单点定位算法，基于手机GNSS原始观测数据与多系统卫星广播星历，解算得到手机的SPP坐标，并导出解算过程中每个历元的可见卫星三维坐标、高度角以及方位角。

步骤3，计算可见卫星在相机坐标系下的坐标。设定选星数目k，剔除不健康的卫星以及低于截止高度角的卫星，截止高度角建议为15°。如果剩余可见卫星数大于选星数目，则根据刚体变换的规律，将卫星地心地固坐标转到相机坐标系下。首先通过平移和旋转将坐标转到以手机为坐标原点的北东地导航坐标系下，然后经过姿态变换将坐标转到手机的载体坐标系下，最后利用简单的初等变换即可得到卫星在相机坐标系下的坐标。

已知手机与卫星的地心地固坐标，根据刚体变换的规律，求出卫星在相机坐标系下的坐标。地心地固坐标系到相机坐标系的转换关系可以表示为：

其中，(X,Y,Z)为卫星的地心地固坐标，(X_c,Y_c,Z_c)为手机的地心地固坐标，

为地心地固坐标系到相机坐标系的旋转矩阵，该矩阵可以通过下式计算获得：

式中，

为地心地固坐标系到导航坐标系的旋转矩阵，/>

为导航坐标系到载体坐标系的旋转矩阵，/>

为载体坐标系到相机坐标系的旋转矩阵。

当导航坐标系为北东地坐标系时，地心地固坐标系与导航坐标系的关系如图4所示，可得旋转矩阵

为：

当载体坐标系为前右下坐标系时，以手机为坐标原点的导航坐标系到载体坐标系的旋转矩阵

如下所示：

其中，γ为载体的横滚角，θ为载体的俯仰角，ψ为载体的航向角。载体坐标系与相机坐标系的转换关系较为简单，如图5所示，可以表示为：

步骤4，计算可见卫星在像素坐标系下的坐标。根据小孔成像定理构造单目相机模型，得到相机坐标系与像素坐标系的转换关系，代入步骤1中标定得到的相机内参矩阵以及步骤3计算得到的卫星在相机坐标系下的坐标，即可求得卫星对应的图像像素坐标。

在相机成像模型中，存在多个坐标系，包括像素平面坐标系、图像平面坐标系、相机坐标系和世界坐标系，如图6所示。像素平面坐标系(o-uv)，定义了每个像素在图像中位置的唯一表示，坐标原点定义在图像的左上角，u轴向右，单位为像素长度dx，v轴向下，单位为像素宽度dy。在视觉处理库OpenCV中，u对应x，v对应y。图像平面坐标系(o-xy)，定义了图像上的点在图像中的位置，是以主点为坐标原点的右手平面坐标系。相机坐标系(o-xyz)，是以相机光心为坐标原点的坐标系，其z轴垂直于相机物理成像平面，由光心指向相机前方，x轴和z轴垂直，平行于成像平面向右，y轴遵循右手定则，指向下方。世界坐标系(o-XYZ)，用于描述相机的位置，可以通过旋转与平移世界坐标系得到相机坐标系。

结合成像关系，可以得到相机坐标系和图像平面坐标系的关系：

上式可化为：

设像素长度为dx，像素宽度为dy，可得图像平面坐标系与像素平面坐标系的关系。其中，(u₀,v₀)是图像主点的像素坐标：

综上，可以得到像素平面坐标系与相机坐标系的关系：

将卫星在相机坐标系下的坐标以及手机相机内参矩阵代入上式，计算出像素坐标系下的卫星坐标。

步骤5，修正手机相机图像、筛选视距卫星。根据标定得到的畸变系数与内参矩阵对手机相机图像进行修正，通过OpenCV将卫星像素坐标导入修正后的图像上，获得多张不同角度的环境图像，筛选出所有未被周围环境遮挡的卫星，即为LOS卫星。若某卫星系统所含的LOS卫星少于等于1颗，则剔除该系统与该卫星，得到当前时刻t的选星结果。t～t+T时刻以内的历元均使用t时刻的选星结果，若t+T时刻的选星结果不可用，则沿用t时刻的选星结果，并在后续历元实施上述选星过程直至获得新的选星结果。

导入卫星像素坐标前首先需要对手机相机图像进行畸变修正。在成像时，理论上直线应该投影为直线，但是在实际的成像过程中并非直线，这种现象称之为光学畸变。畸变可以分为径向畸变(Radial distortion)与切向畸变(Tangential distortion)两种。根据理想的畸变模型，可以得到理想图像坐标与畸变图像坐标的关系：

x^′＝x+δ_xr+δ_xd (19)

y^′＝y+δ_yr+δ_yd (20)

径向畸变是由透镜形状引起的畸变，包括桶形畸变和枕形畸变，其畸变模型可以表示为：

δ_xr＝x(k₁r²+k₂r⁴+k₃r⁶+K) (21)

δ_yr＝x(k₁r²+k₂r⁴+k₃r⁶+K) (22)

切向畸变包括离心畸变和薄透镜畸变等，离心畸变主要发生在透镜组中，而薄透镜畸变主要是由透镜与成像平面不平行引起的畸变，其畸变模型可以表示为：

δ_xd＝2p₁xy+p₂(r²+2x²)+K (23)

δ_yd＝2p₂xy+p₁(r²+2y²)+K (24)

综上，可以得到理想坐标与实际坐标的关系为：

将手机相机标定实验得到的畸变系数与内参系数代入上式中，实现对图像的畸变修正。通过OpenCV将计算得到的卫星像素坐标导入到修正后的手机图像上，获得多张带有可见卫星标识的周围环境图像。筛选出图像中所有未被周围环境遮挡的卫星，即视距卫星。将仅含有一颗视距卫星的系统剔除，得到最终的选星结果。

本发明还提供一种手机相机辅助的多卫星导航系统选星系统，：包括

第一模块：被配置为用于采用张正友棋盘格相机标定法对手机相机进行标定；

第二模块：被配置为用于利用手机相机对周围环境进行多角度拍摄，并基于手机的原始观测数据以及广播星历计算出其概略坐标以及可见卫星的坐标；

第三模块：被配置为用于剔除不健康的卫星以及低于截止高度角的卫星，并且：

若剩余可见卫星数小于选星数目，则将剩余可见卫星作为选星结果；

否则，根据单目相机模型计算出可见卫星投影于手机相机照片上所对应的像素坐标，利用OpenCV将计算得到的卫星像素坐标在手机照片图像中标识出来，根据图像筛选出非视距(Non-line of sight，NLOS)卫星，得到最终的选星结果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.手机相机辅助的多卫星导航系统选星方法，其特征在于：

采用张正友棋盘格相机标定法对手机相机进行标定；

利用手机相机对周围环境进行多角度拍摄，并基于手机的原始观测数据以及广播星历计算出其概略坐标以及可见卫星的坐标；

剔除不健康的卫星以及低于截止高度角的卫星，并且：

若剩余可见卫星数小于选星数目，则将剩余可见卫星作为选星结果；

否则，根据单目相机模型计算出可见卫星投影于手机相机照片上所对应的像素坐标，利用OpenCV将计算得到的卫星像素坐标在手机照片图像中标识出来，根据图像筛选出非视距(Non-line of sight，NLOS)卫星，得到最终的选星结果。

2.如权利要求1所述的手机相机辅助的多卫星导航系统选星方法，其特征在于：打印一张黑白间距已知的棋盘格，并固定在平面上，针对棋盘格拍摄10～20张图片，检测图片中的特征角点，根据角点的位置信息以及图像中的坐标，解算标定用的棋盘格平面到图像平面的单应性矩阵，利用解析解估算方法以及最大似然估计方法得到手机相机内参的最优解。

3.如权利要求1所述的手机相机辅助的多卫星导航系统选星方法，其特征在于：设定选星时间间隔T，每隔时间T对周围环境进行多角度拍摄，同时记录手机的姿态角，基于手机原始观测数据以及多系统卫星广播星历，计算所有可见卫星以及手机在地心地固坐标系下的三维坐标。

4.如权利要求1所述的手机相机辅助的多卫星导航系统选星方法，其特征在于：设定选星数目k，剔除不健康的卫星以及低于截止高度角的卫星，如果剩余可见卫星数小于选星数目，则将剩余可见卫星作为选星结果，否则，根据小孔成像定理构造单目相机模型，代入手机与卫星在地心地固坐标系下的三维坐标、手机的姿态角以及手机相机的内参矩阵，计算剩余可见卫星投影于手机相机图像上像素点对应的像素坐标。

5.如权利要求1所述的手机相机辅助的多卫星导航系统选星方法，其特征在于：根据畸变系数对手机相机图像进行畸变修正，利用OpenCV标识出卫星对应的像素点，根据多角度的手机相机图像，筛选出所有未被周围环境遮挡的视距(Line of sight，LOS)卫星，如果某卫星系统的LOS卫星数少于等于1颗，则删去该系统，得到最终的t时刻选星结果，t～t+T以内的历元均使用t时刻的选星结果，若t+T时刻的选星结果不可用，则沿用t时刻的选星结果，并在后续历元实施上述选星过程直至获得新的选星结果。

6.如权利要求1所述的手机相机辅助的多卫星导航系统选星方法，其特征在于：手机单目相机成像模型基于小孔成像定理，在相机成像模型中存在多个坐标系：像素坐标系、图像坐标系、相机坐标系以及世界坐标系，根据成像关系可以得到相机坐标系与图像坐标系的关系。

7.如权利要求1所述的手机相机辅助的多卫星导航系统选星方法，其特征在于：世界坐标系到相机坐标系的变换通过旋转与平移实现，将世界坐标系定义为地心地固坐标系，根据手机在地心地固坐标系的概略坐标，计算地心地固坐标系转到北东地导航坐标系的旋转矩阵，利用手机姿态角计算北东地导航坐标系转到载体坐标系的旋转矩阵，载体坐标系经过初等坐标变换即可转换为相机坐标系。

8.如权利要求1所述的手机相机辅助的多卫星导航系统选星方法，其特征在于：由透镜形状引起的畸变为径向畸变，由透镜和成像面板不平行引起的畸变为切向畸变，根据径向畸变的数学模型，通过最大似然估计的方法求得最优径向畸变参数。

9.如权利要求1所述的手机相机辅助的多卫星导航系统选星方法，其特征在于：对周围环境进行多角度拍摄时，每隔选星时间间隔T，使用手机摄像头分别从天顶方向、前方、后方、左方、右方方向拍摄多张照片，使拍摄图像覆盖全部周围环境，并记录拍摄时手机的姿态角。

10.手机相机辅助的多卫星导航系统选星系统，其特征在于：包括

第一模块：被配置为用于采用张正友棋盘格相机标定法对手机相机进行标定；

第二模块：被配置为用于利用手机相机对周围环境进行多角度拍摄，并基于手机的原始观测数据以及广播星历计算出其概略坐标以及可见卫星的坐标；

第三模块：被配置为用于剔除不健康的卫星以及低于截止高度角的卫星，并且：

若剩余可见卫星数小于选星数目，则将剩余可见卫星作为选星结果；

否则，根据单目相机模型计算出可见卫星投影于手机相机照片上所对应的像素坐标，利用OpenCV将计算得到的卫星像素坐标在手机照片图像中标识出来，根据图像筛选出非视距(Non-line of sight，NLOS)卫星，得到最终的选星结果。

Images