CN112946698A - 一种基于强化学习的卫星信号周跳探测方法 - Google Patents

一种基于强化学习的卫星信号周跳探测方法 Download PDF

Info

Publication number
CN112946698A
CN112946698A CN202110123896.2A CN202110123896A CN112946698A CN 112946698 A CN112946698 A CN 112946698A CN 202110123896 A CN202110123896 A CN 202110123896A CN 112946698 A CN112946698 A CN 112946698A
Authority
CN
China
Prior art keywords
cycle slip
action
satellite signal
jth
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110123896.2A
Other languages
English (en)
Other versions
CN112946698B (zh
Inventor
夏娜
王振举
罗辉
胡迪
于永堂
张继文
徐思
吴成
何梦花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Sstars Monitoring Information Technology Co ltd
Intelligent Manufacturing Institute of Hefei University Technology
Original Assignee
Hefei Sstars Monitoring Information Technology Co ltd
Intelligent Manufacturing Institute of Hefei University Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Sstars Monitoring Information Technology Co ltd, Intelligent Manufacturing Institute of Hefei University Technology filed Critical Hefei Sstars Monitoring Information Technology Co ltd
Priority to CN202110123896.2A priority Critical patent/CN112946698B/zh
Publication of CN112946698A publication Critical patent/CN112946698A/zh
Application granted granted Critical
Publication of CN112946698B publication Critical patent/CN112946698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/24—Acquisition or tracking or demodulation of signals transmitted by the system
    • G01S19/29—Acquisition or tracking or demodulation of signals transmitted by the system carrier including Doppler, related
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/35—Constructional details or hardware or software details of the signal processing chain
    • G01S19/37—Hardware or software details of the signal processing chain
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/43—Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
    • G01S19/44—Carrier phase ambiguity resolution; Floating ambiguity; LAMBDA [Least-squares AMBiguity Decorrelation Adjustment] method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明公开了一种基于强化学习的卫星信号周跳探测方法，其步骤包括：1对卫星信号载波相位进行高阶差分处理，放大周跳信息，同时消除整周模糊度及其它误差的影响；2通过相空间重构将载波相位时间序列转换为向量集，利用无周跳的载波相位值构建无周跳训练样本集；3定义预测方差、周跳探测统计量及强化学习的奖励函数；4构建并训练强化学习方法的网络模型，直到迭代次数达到样本数为止；5判断卫星信号是否发生周跳。本发明可以主动学习，从环境中获取反馈，从而实现周跳的有效探测。

Description

一种基于强化学习的卫星信号周跳探测方法
技术领域
本发明属于卫星导航定位领域，具体的说是一种基于强化学习的卫星信号周跳探测方法。
背景技术
卫星定位根据测距原理，其定位方法可以分为：伪距法定位、载波相位定位和差分定位。由于载波相位测量精度高，因此高精度卫星导航应用(高精度定位、测向、姿态等)均采用载波相位测量法，但是载波相位的整周跳变(简称周跳)会对测量结果的精度和稳定性产生很大影响，因此周跳的探测与修复是该领域必须解决的关键问题。
周跳(cycle slips)是指在全球导航卫星系统(GNSS)技术的载波相位测量中，由于卫星信号的失锁而导致的整周计数的跳变或中断，正确地探测并恢复周跳，是载波相位测量中非常重要且必须解决的问题之一。
载波相位观测值：
首次观测：
Figure BDA0002923211750000011
以后的观测：
Figure BDA0002923211750000012
通常表示为：
Figure BDA0002923211750000013
式(a)～式(c)中，
Figure BDA0002923211750000014
表示首次观测的载波相位观测值；
Figure BDA0002923211750000015
表示第i次观测的载波相位观测值；
Figure BDA0002923211750000016
表示载波相位观测值；
Figure BDA0002923211750000017
表示首次观测不满整周的部分；
Figure BDA0002923211750000018
表示第i次观测不满整周的部分；
Figure BDA0002923211750000019
表示不满整周的部分；
Figure BDA00029232117500000110
表示第i次观测的整周计数；
Figure BDA00029232117500000111
表示整周计数；N0表示整周模糊度。
由于某种原因，在某一时段计数器中止了正常的累积工作，从而使整周计数应有值少了n周，那么当计数器恢复正常工作后，所有的
Figure BDA00029232117500000112
便都会含有同一偏差值。这种整周计数
Figure BDA00029232117500000113
出现系统偏差而不足一周的部分
Figure BDA00029232117500000114
仍然保持正确的现象称为整周跳变，简称周跳。
周跳产生的三类原因：第一类是卫星信号受到遮挡而暂时中断；第二类是恶劣的电离层状况、多路径效应严重或卫星仰角过低，致使卫星信号的信噪比过低；第三类是接收机内置软件的设计不周全引起的错误。
周跳对基于载波相位测量的高精度定位、测向、测姿会产生很大影响，因此在进行实际应用前必须要进行周跳的探测与修复。周跳探测是指通过对载波相位值序列进行分析，找到数据中发生周跳的点；周跳修复是指使用无周跳的载波相位值预测发生周跳点的值，使用预测值代替测量值。
目前，周跳探测与修复方法主要有：高次差法、多项式拟合法、伪距相位组合法、电离层残差法、卡尔曼滤波法和小波法等，但它们在实际应用中都存在一些不足之处：
高次差法和多项式拟合法适用于单频接收机，但只能探测5周以上的大周跳，无法探测出小周跳；伪距相位组合法探测周跳的能力依赖于伪距测量的精度，因此不适用于单频接收机；电离层残差法需要双频载波相位值，也不适用于单频接收机；卡尔曼滤波法需要设定合适的滤波参数，对建模精度要求较高；小波法需要两个及以上的测站求双差观测量，复杂度较高。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于强化学习的卫星信号周跳探测方法，以期能通过强化学习的方法来完成卫星信号周跳探测，从而使得定位结果更加准确，以提高定位精度。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于强化学习的卫星信号周跳探测方法的特点是按如下步骤进行：
步骤1：对卫星信号载波相位进行高阶差分处理；
步骤1.1：以所设定的采样周期T获得样本数为k+r+1的载波相位值序列，对所述载波相位值序列进行高阶差分处理，共获得k+1个r阶差分值，其中，载波相位的第i个r阶差分值为
Figure BDA0002923211750000021
利用式(1)计算第i个差分序列xi：
Figure BDA0002923211750000022
式(1)中，c为使第i个差分序列xi在[-1,1]范围内的缩放系数；
步骤2：利用式(2)所示的坐标延迟重构法构建第j个空间向量Xj并作为第j个训练样本：
Xj＝(xi,xi+1),1≤j≤k (2)
式(2)中，xi+1为第i+1个差分序列；k表示训练样本集X的样本数；
步骤3：利用式(3)构造预测方差
Figure BDA0002923211750000023
Figure BDA0002923211750000031
式(3)中，
Figure BDA0002923211750000032
是第j个输出预测值，
Figure BDA0002923211750000033
是k个输出预测值的均值；
步骤4：利用式(4)构造第j个周跳探测统计量Dj：
Figure BDA0002923211750000034
式(4)中，
Figure BDA0002923211750000035
是第j个输出预测值；
步骤5：利用式(5)建立强化学习方法的第j个奖励函数Rj：
Figure BDA0002923211750000036
式(5)中，η表示奖励值，b表示奖励函数的判决量，S表示当前卫星信号的状态，S′表示当前状态的下一状态；→表示状态的变化；
步骤6：构建强化学习方法的网络模型：
步骤6.1：构建由多个卷积层组成的循环神经网络RNN，并用于对所述训练样本集X进行特征提取，得到多维特征向量；
步骤6.2：构建全连接层，用于将所述多维特征向量映射为一维特征向量；
步骤6.3：构建由两个n输出的全连接层组成的Q网络，用于对一维特征向量进行信息抽象映射，得到卫星信号的预测值；
步骤6.4：构建由一个m连接的全连接层组成的动作向量，用于对所述卫星信号的预测值进行处理，并输出一个含有m个元素的动作向量，包括：m1个调整动作与m2个终止动作；m＝m1+m2；
步骤7：对强化学习方法的网络模型进行训练：
步骤7.1：随机初始化Q网络的所有参数的集合w，基于集合w初始化所有的状态，将经验池初始化为空集；
步骤7.2：通过循环神经网络RNN和全连接层获取一维特征向量；
步骤7.3：将一维特征向量作为Q网络的输入，由Q网络输出所有动作对应的Q值，并用ε-贪婪法在当前输出的Q值中选择对应的第j个动作Aj，以1-ε为概率贪婪选择当前最大行为价值的动作，以ε为概率随机从m个动作向量中选择一个动作，其中，ε为探索率，并设初始值为q1，且随着训练周期的增加，将ε逐渐降低至q2；
步骤7.4：在当前卫星信号的状态S下执行第j个动作Aj，得到新状态S′对应的特征向量和第j个奖励Rj；
步骤7.5：将五元组{Yj,Aj,Rj,Y′j,is_endj}存入经验池，其中，Yj为第j个训练样本Xj在状态S下通过循环神经网络RNN和全连接层后得到的特征向量，Rj是在状态S下执行动作Aj后得到的奖赏，Y′j为在新状态S′下通过循环神经网络RNN和全连接层后得到的特征向量，is_endj为终止状态；
步骤7.6：从经验池中采样k个样本，并计算当前输出的第j个预测值
Figure BDA0002923211750000041
Figure BDA0002923211750000042
式(6)中，maxA′Q(Y′j,A′,w)表示未来的奖励，γ表示折扣因子，A′j是当前动作Aj的下一步动作；1≤j≤k；
步骤7.7：通过神经网络的梯度反向传播方法来更新Q网络的所有参数，并判断S′是终止状态is_endj是否成立，若成立，则迭代结束，输出第j个预测值
Figure BDA0002923211750000043
并作为卫星信号周跳探测的预测值，再求出新的周跳探测统计量D′j，并依据三倍标准差原理，判断新的周跳探测统计量D′j是否大于a，若是，则认为发生了信号周跳，否则，转到步骤7.3。
与现有技术相比，本发明的有益效果在于：
1、本发明利用强化学习的泛化预测优势，确定了与卫星信号相关的输入状态和输出动作，设计了适用于周跳探测的奖励函数，构建并训练出强化学习网络模型，从而利用该模型对卫星信号进行处理、判断，实现了卫星信号的周跳探测；
2、本发明基于强化学习的卫星信号周跳探测方法可以有效探测周跳，可以主动学习，从环境中获取反馈，具有很强的自学习和大规模并行处理能力，从而使得卫星定位结果更加准确，提高了定位精度；
3、本发明使用范围广：不需要增加额外的辅助信息，该方法可广泛应用于GPS、GLONASS、Galileo、北斗导航卫星信号的处理，具有广阔的应用前景。
附图说明
图1为本发明强化学习网络结构图；
图2为本发明基于强化学习的周跳探测流程图。
具体实施方式
本实施例中，一种基于强化学习的卫星信号周跳探测方法，如图2所示，包括以下步骤：
步骤1：对卫星信号载波相位进行高阶差分处理；
步骤1.1：以所设定的采样周期T获得样本数为k+r+1的载波相位值序列；获得k+r+1个载波相位值保证了进行r阶差分处理及步骤2后得到的训练样本集X中训练样本的个数为k个，方便后续的处理；对载波相位值序列进行高阶差分处理，共获得k+1个r阶差分值，其中，载波相位的第i个r阶差分值为
Figure BDA0002923211750000051
r为差分阶数，一般取3或4；
利用式(1)计算第i个差分序列xi：
Figure BDA0002923211750000052
式(1)中，c为使第i个差分序列xi在[-1,1]范围内的缩放系数；
步骤2：利用式(2)所示的坐标延迟重构法构建第j个空间向量Xj并作为第j个训练样本：
Xj＝(xi,xi+1),1≤j≤k (2)
式(2)中，xi+1为第i+1个差分序列；k表示训练样本集X中的样本数；
强化学习不能直接作用于时间序列，因此需要将载波相位值序列转换为向量集。构建训练样本集X采用相空间重构的方法，相空间重构有两种方法：导数重构法和坐标延迟重构法，根据Takens的相空间重构理论，进行相空间重构的关键在于选择合适的嵌入维数和延迟时间，相空间重构可以使载波相位高阶差分时间序列中的结构更清楚地表现出来，从而使周跳等异常表现出来。
步骤3：利用式(3)构造预测方差
Figure BDA0002923211750000053
Figure BDA0002923211750000054
式(3)中，
Figure BDA0002923211750000055
是第j个输出预测值，
Figure BDA0002923211750000056
是k个输出预测值的均值；
步骤4：利用式(4)构造第j个周跳探测统计量Dj：
Figure BDA0002923211750000061
式(4)中，
Figure BDA0002923211750000062
是第j个输出预测值；
步骤5：利用式(5)建立强化学习方法的第j个奖励函数Rj：
Figure BDA0002923211750000063
式(5)中，η表示奖励值，b表示奖励函数的判决量，S表示当前卫星信号的状态，S′表示当前状态的下一状态；→表示状态的变化；本实施例中，b取1.5；
步骤6：如图1所示，构建强化学习方法的网络模型：
步骤6.1：构建由多个卷积层组成的循环神经网络RNN，并用于对训练样本集X进行特征提取，得到多维特征向量；
步骤6.2：构建全连接层，用于将多维特征向量映射为一维特征向量；
步骤6.3：构建由两个512输出的全连接层组成的Q网络，用于对一维特征向量进行信息抽象映射，得到卫星信号的预测值；
步骤6.4：构建由一个3连接的全连接层组成的动作向量，用于对卫星信号的预测值进行处理，并输出一个含有3个元素的动作向量，包括：2个调整动作与1个终止动作；
步骤7：对强化学习方法的网络模型进行训练：
步骤7.1：随机初始化Q网络的所有参数的集合w，基于集合w初始化所有的状态，将经验池初始化为空集；
确定DQN算法为问题求解的算法：
在求解强化学习预测问题时，最经典的是Q-Learning算法，Q-Learning算法对于小型的强化学习问题是非常灵活有效的，但是对于复杂的状态和可选动作，使Q-Learning要维护的Q表异常的大，甚至远远超出内存，限制了应用场景。
Deep Q-Learning算法和Q-Learning不同的地方在于，它的Q值的计算不是直接通过状态值和动作来计算，而是通过Q网络来计算的，这个Q网络是一个神经网络，我们一般简称Deep Q-Learning为DQN。
对于Q-Learning算法，它是有一张Q表来保存所有的Q值的当前结果的，但是DQN是没有的，那么在做动作价值函数更新的时候，DQN主要使用的技巧是经验回放，即将每次和环境交互得到的奖励与状态更新情况都保存起来，用于后面目标Q值的更新。
步骤7.2：通过循环神经网络RNN和全连接层获取一维特征向量；
步骤7.3：将一维特征向量作为Q网络的输入，由Q网络输出所有动作对应的Q值，并用ε-贪婪法在当前输出的Q值中选择对应的第j个动作Aj，以1-ε为概率贪婪选择当前最大行为价值的动作，以ε为概率随机从m个动作向量中选择一个动作，其中，ε为探索率，并设初始值为1，且随着训练周期的增加，将ε逐渐降低至0.1；
步骤7.4：在当前卫星信号的状态S下执行第j个动作Aj，得到新状态S′对应的特征向量和第j个奖励Rj；
步骤7.5：将五元组{Yj,Aj,Rj,Y′j,is_endj}存入经验池，其中，Yj为训练样本集Xj在状态S下通过循环神经网络RNN和全连接层后得到的特征向量，Rj是在状态S下执行动作Aj后得到的奖赏，Y′j为在新状态S′下通过循环神经网络RNN和全连接层后得到的特征向量，is_endj为终止状态；
步骤7.6：从经验池中采样k个样本，并计算当前输出的第j个预测值
Figure BDA0002923211750000071
Figure BDA0002923211750000072
式(6)中，maxA′Q(Y′j,A′,w)表示未来的奖励，γ表示折扣因子，A′j是当前动作Aj的下一步动作；1≤j≤k；
想要在长期的训练中表现出良好的效果，只考虑当前的奖励是不够的，所以DQN算法将未来的奖励也加入训练，本方法设置折扣因子γ＝0.9，该数值可以很好地平衡当前的奖励和未来的奖励。
步骤7.7：通过神经网络的梯度反向传播方法来更新Q网络的所有参数，并判断S′是终止状态is_endj是否成立，若成立，则迭代结束，输出第j个预测值
Figure BDA0002923211750000073
并作为卫星信号周跳探测的预测值，再求出新的周跳探测统计量D′j，并依据三倍标准差原理，判断新的周跳探测统计量D′j是否大于a＝3，若是，则认为发生了信号周跳，否则，转到步骤7.3。

Claims (1)

1.一种基于强化学习的卫星信号周跳探测方法，其特征是按如下步骤进行：
步骤1：对卫星信号载波相位进行高阶差分处理；
步骤1.1：以所设定的采样周期T获得样本数为k+r+1的载波相位值序列，对所述载波相位值序列进行高阶差分处理，共获得k+1个r阶差分值，其中，载波相位的第i个r阶差分值为
Figure FDA0002923211740000011
利用式(1)计算第i个差分序列xi：
Figure FDA0002923211740000012
式(1)中，c为使第i个差分序列xi在[-1,1]范围内的缩放系数；
步骤2：利用式(2)所示的坐标延迟重构法构建第j个空间向量Xj并作为第j个训练样本：
Xj＝(xi,xi+1),1≤j≤k (2)
式(2)中，xi+1为第i+1个差分序列；k表示训练样本集X的样本数；
步骤3：利用式(3)构造预测方差
Figure FDA0002923211740000013
Figure FDA0002923211740000014
式(3)中，
Figure FDA0002923211740000015
是第j个输出预测值，
Figure FDA0002923211740000016
是k个输出预测值的均值；
步骤4：利用式(4)构造第j个周跳探测统计量Dj：
Figure FDA0002923211740000017
式(4)中，
Figure FDA0002923211740000018
是第j个输出预测值；
步骤5：利用式(5)建立强化学习方法的第j个奖励函数Rj：
Figure FDA0002923211740000019
式(5)中，η表示奖励值，b表示奖励函数的判决量，S表示当前卫星信号的状态，S′表示当前状态的下一状态；→表示状态的变化；
步骤6：构建强化学习方法的网络模型：
步骤6.1：构建由多个卷积层组成的循环神经网络RNN，并用于对所述训练样本集X进行特征提取，得到多维特征向量；
步骤6.2：构建全连接层，用于将所述多维特征向量映射为一维特征向量；
步骤6.3：构建由两个n输出的全连接层组成的Q网络，用于对一维特征向量进行信息抽象映射，得到卫星信号的预测值；
步骤6.4：构建由一个m连接的全连接层组成的动作向量，用于对所述卫星信号的预测值进行处理，并输出一个含有m个元素的动作向量，包括：m1个调整动作与m2个终止动作；m＝m1+m2；
步骤7：对强化学习方法的网络模型进行训练：
步骤7.1：随机初始化Q网络的所有参数的集合w，基于集合w初始化所有的状态，将经验池初始化为空集；
步骤7.2：通过循环神经网络RNN和全连接层获取一维特征向量；
步骤7.3：将一维特征向量作为Q网络的输入，由Q网络输出所有动作对应的Q值，并用ε-贪婪法在当前输出的Q值中选择对应的第j个动作Aj，以1-ε为概率贪婪选择当前最大行为价值的动作，以ε为概率随机从m个动作向量中选择一个动作，其中，ε为探索率，并设初始值为q1，且随着训练周期的增加，将ε逐渐降低至q2；
步骤7.4：在当前卫星信号的状态S下执行第j个动作Aj，得到新状态S′对应的特征向量和第j个奖励Rj；
步骤7.5：将五元组{Yj,Aj,Rj,Y′j,is_endj}存入经验池，其中，Yj为第j个训练样本Xj在状态S下通过循环神经网络RNN和全连接层后得到的特征向量，Rj是在状态S下执行动作Aj后得到的奖赏，Y′j为在新状态S′下通过循环神经网络RNN和全连接层后得到的特征向量，is_endj为终止状态；
步骤7.6：从经验池中采样k个样本，并计算当前输出的第j个预测值
Figure FDA0002923211740000021
Figure FDA0002923211740000022
式(6)中，maxA′Q(Y′j,A′,w)表示未来的奖励，γ表示折扣因子，A′j是当前动作Aj的下一步动作；1≤j≤k；
步骤7.7：通过神经网络的梯度反向传播方法来更新Q网络的所有参数，并判断S′是终止状态is_endj是否成立，若成立，则迭代结束，输出第j个预测值
Figure FDA0002923211740000031
并作为卫星信号周跳探测的预测值，再求出新的周跳探测统计量D′j，并依据三倍标准差原理，判断新的周跳探测统计量D′j是否大于a，若是，则认为发生了信号周跳，否则，转到步骤7.3。
CN202110123896.2A 2021-01-29 2021-01-29 一种基于强化学习的卫星信号周跳探测方法 Active CN112946698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110123896.2A CN112946698B (zh) 2021-01-29 2021-01-29 一种基于强化学习的卫星信号周跳探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110123896.2A CN112946698B (zh) 2021-01-29 2021-01-29 一种基于强化学习的卫星信号周跳探测方法

Publications (2)

Publication Number Publication Date
CN112946698A true CN112946698A (zh) 2021-06-11
CN112946698B CN112946698B (zh) 2023-08-29

Family

ID=76239320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110123896.2A Active CN112946698B (zh) 2021-01-29 2021-01-29 一种基于强化学习的卫星信号周跳探测方法

Country Status (1)

Country Link
CN (1) CN112946698B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355417A (zh) * 2021-12-08 2022-04-15 杭州电子科技大学 顾及伪距多径、轨道及数据类型的三频周跳探测修复法
CN115806062A (zh) * 2022-11-10 2023-03-17 北京航天驭星科技有限公司 卫星相对相位保持策略模型的建模方法、模型、获取方法
CN117674961A (zh) * 2023-11-20 2024-03-08 航天恒星科技有限公司 基于时空特征学习的低轨卫星网络时延预测方法
CN117674961B (zh) * 2023-11-20 2024-05-28 航天恒星科技有限公司 基于时空特征学习的低轨卫星网络时延预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175806B1 (en) * 1993-07-16 2001-01-16 Caterpillar Inc. Method and apparatus for detecting cycle slips in navigation signals received at a receiver from a satellite-based navigation system
CN103376454A (zh) * 2012-04-12 2013-10-30 天宝导航有限公司 使用精确卫星信息定位的先进全球导航卫星系统（gnss）
US20140002299A1 (en) * 2007-06-22 2014-01-02 Trimble Navigation Limited Combined cycle slip indicators for regionally augmented gnss
CN103698785A (zh) * 2013-12-13 2014-04-02 合肥工业大学 基于贯序极限学习机的卫星信号周跳探测与修复方法
CN111856525A (zh) * 2020-06-29 2020-10-30 哈尔滨工程大学 一种基于lstm神经网络的周跳探测和修复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175806B1 (en) * 1993-07-16 2001-01-16 Caterpillar Inc. Method and apparatus for detecting cycle slips in navigation signals received at a receiver from a satellite-based navigation system
US20140002299A1 (en) * 2007-06-22 2014-01-02 Trimble Navigation Limited Combined cycle slip indicators for regionally augmented gnss
CN103376454A (zh) * 2012-04-12 2013-10-30 天宝导航有限公司 使用精确卫星信息定位的先进全球导航卫星系统（gnss）
CN103698785A (zh) * 2013-12-13 2014-04-02 合肥工业大学 基于贯序极限学习机的卫星信号周跳探测与修复方法
CN111856525A (zh) * 2020-06-29 2020-10-30 哈尔滨工程大学 一种基于lstm神经网络的周跳探测和修复方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YIFEI YAO ET AL.: "\"Effect of selection of combined observations on cycle-slip repair success rate for BDS triple-frequency signals\"", 《ADVANCES IN SPACE RESEARCH 》, vol. 66 *
赵旗旗: "北斗定位中周跳 的探测与修复方法研究", 《中国优秀硕士学位论文全文 数据库信息科技辑》, no. 1 *
高杨;黄国勇;吴建德;: "基于改进局部均值分解的单频周跳探测与修复研究", 计算机工程, no. 05 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355417A (zh) * 2021-12-08 2022-04-15 杭州电子科技大学 顾及伪距多径、轨道及数据类型的三频周跳探测修复法
CN114355417B (zh) * 2021-12-08 2023-09-01 杭州电子科技大学 顾及伪距多径、轨道及数据类型的三频周跳探测修复法
CN115806062A (zh) * 2022-11-10 2023-03-17 北京航天驭星科技有限公司 卫星相对相位保持策略模型的建模方法、模型、获取方法
CN117674961A (zh) * 2023-11-20 2024-03-08 航天恒星科技有限公司 基于时空特征学习的低轨卫星网络时延预测方法
CN117674961B (zh) * 2023-11-20 2024-05-28 航天恒星科技有限公司 基于时空特征学习的低轨卫星网络时延预测方法

Also Published As

Publication number Publication date
CN112946698B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN107193029B (zh) 北斗三频信号的网络rtk基准站间模糊度快速确定方法
CN108919321B (zh) 一种基于尝试法的gnss定位粗差探测方法
CN1864078A (zh) 使用三个gps频率消除载波相位整数模糊度的方法
CN108196284B (zh) 一种进行星间单差模糊度固定的gnss网数据处理方法
CN112946698A (zh) 一种基于强化学习的卫星信号周跳探测方法
CN111694040B (zh) 一种卫星/惯性组合导航系统定位方法与装置
CN107367744B (zh) 基于自适应测量噪声方差估计的星载gps定轨方法
CN113138402B (zh) 基于rtk的模糊度固定方法及装置、存储介质
CN110646822B (zh) 一种基于惯导辅助的整周模糊度Kalman滤波算法
CN106371092B (zh) 一种基于gps与强震仪观测自适应组合的形变监测方法
CN112782732B (zh) 一种基于粒子群算法的导航信号解析方法及计算机存可读介质
CN112230254B (zh) 一种gps载波相位多径误差的校正方法及装置
Siemuri et al. Improving precision GNSS positioning and navigation accuracy on smartphones using machine learning
CN111856525B (zh) 一种基于lstm神经网络的周跳探测和修复方法
WO2023236643A1 (zh) 定位方法、装置、设备及存储介质
CN112946697B (zh) 一种基于深度学习的卫星信号周跳探测与修复方法
CN107462909A (zh) 一种北斗单频载波相位的周跳探测方法
CN116953741B (zh) 一种应用于全球导航卫星系统gnss的周跳探测与修复方法
CN115561793A (zh) 一种基于并行计算的实时北斗相位小数偏差快速估计方法
CN114355410B (zh) 基于并行计算的卫星导航实时精密单点定位系统及方法
CN111948682B (zh) 一种基于bds三频组合的伪距和载波相位随机模型构建方法
CN112255647A (zh) 弹道测量信息事后融合处理优化方法
CN111580136A (zh) 一种接收机自主完好性故障检测方法
CN116893432A (zh) 一种基于大数据跨模态残差模型补偿的标准单点定位方法
CN114325777B (zh) 一种周跳探测和修复方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant