CN117076824B - 移动终端的状态预测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供了一种移动终端的状态预测方法、装置、电子设备、计算机程序产品及计算机可读存储介质；应用于车载场景和地图场景，具体包括：获取车载的移动终端的传感器数据和预设状态量；分别基于传感器数据和预设状态量，确定用于影响移动终端的状态的多个因子；获取每个因子的预设的约束条件，基于每个因子的预设的约束条件，确定每个因子的误差函数；将多个因子分别对应的误差函数融合为目标函数；确定目标函数的最优解，将最优解作为移动终端的估计状态。通过本申请，能够实时、准确地预测车载的移动终端的状态。

Description

移动终端的状态预测方法、装置、电子设备和存储介质

技术领域

本申请涉及车辆导航技术，尤其涉及一种移动终端的状态预测方法、装置、电子设备和存储介质。

背景技术

随着车辆导航技术的不断发展，对车辆状态预测的准确度的要求日益增高。现有技术的预测方法多是基于滤波的方法，利用GNSS/IMU组合导航系统的位置，通过滤波计算得到车辆的移动终端的预测状态（例如手机安装角）。

基于滤波的方法对传感器数据的质量要求较高，如果传感器数据存在异常或失真，会导致滤波结果不稳定，甚至出现漂移等问题，且只使用了上一时刻到当前时刻的观测数据，使用的观测信息较少，估计得到的精度受限，基于滤波的方法的可扩展性也较低，当添加新的传感器观测时，算法需要进行较大的改动，耗费更多的开发精力。

发明内容

本申请实施例提供一种移动终端的状态预测方法、装置、移动终端、计算机程序产品及计算机可读存储介质，能够实时、准确地预测当前车辆的状态。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种移动终端的状态预测方法，所述方法包括：

获取车载的移动终端的传感器数据和预设状态量；

分别基于所述传感器数据和所述预设状态量，确定用于影响所述移动终端的状态的多个因子；

获取每个所述因子的预设的约束条件，基于每个所述因子的预设的约束条件，确定每个所述因子的误差函数；

将所述多个因子分别对应的所述误差函数融合为目标函数；

确定所述目标函数的最优解，将所述最优解作为所述移动终端的估计状态。

本申请实施例提供一种移动终端的状态预测装置，包括：

获取模块，用于获取车载的移动终端的传感器数据和预设状态量；

第一确定模块，用于分别基于所述传感器数据和所述预设状态量，确定用于影响所述移动终端的状态的多个因子；

第二确定模块，用于获取每个所述因子的预设的约束条件，基于每个所述因子的预设的约束条件，确定每个所述因子的误差函数；

融合模块，用于将所述多个因子分别对应的所述误差函数融合为目标函数；

优化模块，用于确定所述目标函数的最优解，将所述最优解作为所述移动终端的估计状态。

本申请实施例提供一种电子设备，所述电子设备包括：

存储器，用于存储计算机可执行指令；

处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的移动终端的状态预测方法。

本申请实施例提供一种计算机可读存储介质，存储有计算机程序或计算机可执行指令，用于被处理器执行时实现本申请实施例提供的移动终端的状态预测方法。

本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的移动终端的状态预测方法。

本申请实施例具有以下有益效果：

车载的移动终端的传感器数据和预设状态量，确定用于影响所述移动终端的状态的多个因子，基于各个因子的预设的约束条件来构建误差函数进而融合为目标函数，由传感器数据可以是移动终端的多个历史时刻的观测数据，因此在将移动终端的状态预测的问题转为目标函数的求解问题时，可以消除个别的传感器数据导致的误差，相较于已有技术，消除了因噪音和干扰引起的误差，提高了预测的准确性和稳定性。

附图说明

图1是本申请实施例提供的移动终端的状态预测系统架构的结构示意图；

图2是本申请实施例提供的移动终端的状态预测装置的结构示意图；

图3A是本申请实施例提供的移动终端的状态预测方法的第一流程示意图；

图3B是本申请实施例提供的移动终端的状态预测方法的第二流程示意图；

图3C是本申请实施例提供的移动终端的状态预测方法的第三流程示意图；

图3D是本申请实施例提供的移动终端的状态预测方法的第四流程示意图；

图3E是本申请实施例提供的移动终端的状态预测方法的第五流程示意图；

图3F是本申请实施例提供的移动终端的状态预测方法的第六流程示意图；

图3G是本申请实施例提供的移动终端的状态预测方法的第七流程示意图；

图3H是本申请实施例提供的移动终端的状态预测方法的第八流程示意图；

图3I是本申请实施例提供的移动终端的状态预测方法的第九流程示意图；

图4是本申请实施例提供的每个因子和每个因子的预设的约束条件之间的关系示意图；

图5是本申请实施例提供的移动终端的状态预测方法的原理示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

本申请实施例中相关数据收集处理在实例应用时应该严格根据相关国家法律法规的要求，获取个人信息主体的知情同意或单独同意，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理行为。

除非另有定义，本申请实施例所使用的所有的技术和科学术语与所属技术领域的技术人员通常理解的含义相同。本申请实施例中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1）卫星传感，也称为全球卫星导航系统（Global Navigation Satellite System，GNSS），是能在地球表面或近地空间的任何地点为用户提供全天候的三维坐标和速度以及时间信息的空基无线电导航定位系统。卫星导航系统已经在航海、通信、消费娱乐、测绘、授时和车辆导航与信息服务等方面广泛使用，而且总的发展趋势是为实时应用提供高精度服务。

应用最早的是美国的全球定位系统（Global Positioning System，GPS）系统，现阶段技术最完善的也是GPS系统。随着近年来北斗卫星导航系统（Beidou NavigationSatellite System，BDS）、全球轨道导航卫星系统（Global Orbiting NavigationSatellite System，GLONASS）在亚太地区的全面服务开启，尤其是BDS系统在民用领域发展越来越快。卫星导航系统已经在航海、通信、消费娱乐、测绘、授时、车辆管理和车辆导航与信息服务等方面广泛使用，而且总的发展趋势是为实时应用提供高精度服务；

2）惯性传感，是指惯性测量单元（Inertial Measurement Unit，IMU），是一种电子设备，通常由加速度计或陀螺仪组成，用于测量物体的运动状态和方向。IMU广泛应用于飞行器、导航系统、机器人、虚拟现实和增强现实等领域。

3）非完整性约束（Nonholonomic Constraint，NHC），是指车辆在运动时，车辆只会向前或向后移动，极少情况下出现跳跃和侧向漂移现象。基于这样的客观事实，可假设车辆坐标系（即v系）下的侧向和垂向速度一直为零。

4）车辆航迹推算（Vehicle Dead-Reckoning，VDR），是一种常用的导航定位技术，其基本原理是利用IMU的陀螺仪与加速度计来推算车辆的瞬时位置，可以实现连续自主式定位。但由于其推算过程是一个累加过程，IMU的误差随时间的延长而积累另外，推算只能确定相对位置和航向。

5）因子图，是属于一个二分图，由因子和变量连接而成，非常适合于复杂的估计问题的建模，其中变量（variables）表示估计问题中的未知随机变量，因子（factors）表示非线性因子，表示变量之间的约束。

6）状态，即车载的移动终端的状态，包括位姿（即位置和姿态）、速度、零偏以及安装角。

7）传感器数据，包括移动终端内置GNSS传感器和IMU传感器的观测数据，其中GNSS传感器观测数据包括时间戳、位置、速度、卫星数、HDOP值等，IMU传感器观测数据包括时间戳、三轴加速度、三轴角速度等。

8）卫星传感数据，即GNSS传感器的观测数据。

9）车辆坐标系，是用来描述车辆运动的特殊动坐标系；其原点与质心重合，当车辆在水平路面上处于静止状态，X轴平行于地面指向车辆前方，Z轴通过车辆质心指向上方，Y轴指向驾驶员的左侧。

10）移动终端坐标系，即IMU坐标系，IMU坐标系的坐标原点在陀螺仪和加速度计的坐标原点，xyz三个轴方向分别与陀螺仪和加速度计的对应轴向平行。在解算惯性导航系统中IMU与车体是刚性连接的，因此在不考虑安装误差角的情况下，移动终端坐标系也即为IMU坐标系。

在现有技术的移动终端的状态预测方法中，通常是利用GNSS/IMU组合导航系统的位置结果，通过转换矩阵转换到IMU坐标系，再转到车辆坐标系，构成一个虚拟的里程计数据源；GNSS观测得到的车辆位置变化量作为滤波的观测量，进行滤波计算便可以得到移动终端策状态预测。但是，现有技术的移动终端的状态预测方法存在以下缺点：对传感器数据的质量要求较高，如果传感器数据存在异常或者失真，则会导致滤波结果不稳定，甚至出现漂移等问题。由于只使用了上一时刻到这一时刻的观测数据，使用的观测信息较少，预测得到的移动终端的状态的准确度不高。且现有技术的可扩展性较低，当添加新的传感器观测时，算法需要进行较大的改动，耗费更多的开发精力。

基于以上分析，申请人发现现有技术的移动终端的状态预测方法无法高效准确地对移动终端的状态进行预测，针对上述问题，本申请实施例提供一种移动终端的状态预测方法，能够实时、准确地预测车载的移动终端的状态。

本申请实施例提供一种移动终端的状态预测方法、装置、电子设备、计算机可读存储介质和计算机程序产品，能够实时、准确地预测车载的移动终端的状态，下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备以实施为笔记本电脑、平板电脑、移动设备（例如，移动电话、便携式音乐播放器、个人数字助理、专用消息设备、便携式游戏设备）、智能手机、智能音箱、智能手表、车载终端、飞行器等各种类型的用户终端，也可以实施为服务器。下面，将说明电子设备的示例性应用。

参见图1，图1是本申请实施例提供的移动终端的状态预测系统100的架构示意图，为实现支撑一个移动终端的状态预测应用，移动终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。

在一些实施例中，移动终端400用于获取传感器数据和预设状态量，在图形界面401显示，服务器200用于接收移动终端400的传感器数据和预设状态量，构建用于影响移动终端的状态的多个因子，并确定每个因子的误差函数，将误差函数融合为目标函数，从而求得移动终端的估计状态，并发送给移动终端400。

在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content DeliveryNetwork，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。

在另一些实施例中，移动终端400用于采集传感器数据和预设状态量，构建用于影响移动终端的状态的多个因子，并确定每个因子的误差函数，将误差函数融合为目标函数，从而求得移动终端的估计状态。

参见图2，图2是本申请实施例提供的移动终端400的结构示意图，图2所示的移动终端400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。移动终端400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。

处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（Digital Signal Processor，DSP），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。

存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器（Read Only Memory，ROM），易失性存储器可以是随机存取存储器（Random Access Memory，RAM）。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。

在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块452，用于经由一个或多个（有线或无线）网络接口420到达其他电子设备，示例性的网络接口420包括：蓝牙、无线相容性认证（WiFi）、和通用串行总线（Universal Serial Bus，USB）等；

呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431（例如，显示屏、扬声器等）使得能够呈现信息（例如，用于操作外围设备和显示内容和信息的用户接口）；

输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的移动终端的状态预测装置可以采用软件方式实现，图2示出了存储在存储器450中的移动终端的状态预测装置455，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块4551、第一确定模块4552、第二确定模块4553、融合模块4554以及优化模块4555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

在另一些实施例中，本申请实施例提供的移动终端的状态预测装置可以采用硬件方式实现，作为示例，本申请实施例提供的移动终端的状态预测装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的移动终端的状态预测方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ApplicationSpecific Integrated Circuit，ASIC）、数字信号处理器（Digital Signal Processor，DSP）、可编程逻辑器件（ProgrammableLogic Device，PLD）、复杂可编程逻辑器件（ComplexProgrammable Logic Device，CPLD）、现场可编程门阵列（Field-Programmable GateArray，FPGA）或其他电子元件。

在一些实施例中，移动终端或服务器可以通过运行各种计算机可执行指令或计算机程序来实现本申请实施例提供的移动终端的状态预测方法。举例来说，计算机可执行指令可以是微程序级的命令、机器指令或软件指令。计算机程序可以是操作系统中的原生程序或软件模块；可以是本地（Native）应用程序（APPlication，APP），即需要在操作系统中安装才能运行的程序，如地图导航APP或者外卖APP；也可以是可以嵌入至任意APP中的小程序，即只需要下载到浏览器环境中就可以运行的程序。总而言之，上述的计算机可执行指令可以是任意形式的指令，上述计算机程序可以是任意形式的应用程序、模块或插件。

将结合本申请实施例提供的电子设备的示例性应用和实施，说明本申请实施例提供的移动终端的状态预测方法。

下面，说明本申请实施例提供的移动终端的状态预测方法，如前所述，实现本申请实施例的移动终端的状态预测方法的电子设备可以是上文所述的移动终端或服务器，因此下文中不再重复说明各个步骤的执行主体。

参见图3A，图3A是本申请实施例提供的移动终端的状态预测的第一流程示意图，将结合图3A示出的步骤进行说明。

在步骤101中，获取车载的移动终端的传感器数据和预设状态量。

在一些实施例中，获取车载的移动终端的每一时刻的传感器数据，其中，不同的时刻可以按固定的时间长度进行设定，例如：一分钟、一刻钟、一小时等。初始时刻表示第一次采集传感器数据的时刻。

示例的，车载的移动终端的传感器数据是指终端内置传感器的观测数据，例如：GNSS传感器数据和 IMU传感器数据。GNSS传感器数据包括时间戳、位置、速度、卫星数、水平精度因子（Horizontal Dilution of Precision，HDOP）等，IMU传感器数据包括时间戳、三轴加速度、三轴角速度等。以手机为例，预设状态量是指预先设定的表征手机初始时刻的状态量，预设状态量包括：在手机初始时刻下手机的位姿（包含位置与姿态）、速度、手机IMU的零偏以及手机与车辆之间的安装角。

在步骤102中，分别基于传感器数据和预设状态量，确定用于影响移动终端的状态的多个因子。

在一些实施例中，影响移动终端的状态的多个因子包括状态量因子、卫星传感因子、惯性传感因子、零偏因子以及转换因子。

在一些实施例中，参见图3B，图3B是本申请实施例提供的移动终端的状态预测的第二流程示意图，图3A示出的步骤102可以通过图3B的步骤1021至步骤1025实现，下面具体说明。

在步骤1021中，将移动终端的预设状态量确定为状态量因子，其中，预设状态量包括位姿、速度、零偏和安装角。

示例的，状态量因子（记为Prior）的数学表现形式如下：

（1）

其中，表示位姿，位姿是指移动终端的位置和姿态，其中，表示位置的三维坐标数据，表示姿态的三维坐标数据，代表围绕X轴旋转的滚转角，代表围绕Y轴旋转的俯仰角，代表围绕Z轴旋转的偏航角，表示速度，表示速度的三维坐标数据，表示IMU零偏，表示IMU零偏的三维坐标数据，表示手机与车辆之间的安装角，表示安装角中的滚转角、俯仰角和偏航角的三维坐标数据。安装角是指手机航向角与用户跟随车辆的运动方向之间的差异角，随手机使用方式不同而变化，例如横向持握手机、打电话、手机放入口袋以及持握手机随手臂摆动等情况。手机航向角是指手机本身的航向，可通过手机内置的传感器观测数据融合得到，表示Prior因子的数据结构。

在步骤1022中，将卫星传感数据中的位置数据，确定为卫星传感因子，其中，位置数据包括移动终端的三维坐标。

示例的，卫星传感因子也即GNSS因子，通过GNSS定位得到的实时动态定位结果，GNSS因子的数学表达形式如下：

（2）

其中，表示GNSS因子，表示GNSS定位得到的位置。

在步骤1023中，确定任意两个相邻时刻之间的惯性传感数据的预积分，将预积分确定为惯性传感因子。

示例的，惯性传感因子也即IMU因子，IMU因子由任意两个相邻时刻之间的预积分得到。两个相邻时刻可以为第一时刻和第二时刻，第一时刻和第二时刻为两个相邻的时间点，其中，第一时刻是包括初始时刻在内的任意一个时刻，第二时刻位于第一时刻之后。

在一些实施例中，预积分的计算过程如下：

首先，在不考虑第一时刻车辆速度和重力加速度的情况下，计算出第一时刻与第二时刻之间的相对变化量。

其次，计算考虑了IMU零偏变化的IMU预积分，将其转换为Vector形式表示，记为。

最后，修正第一时刻的车辆速度与重力加速度以及科氏加速度的影响，考虑了第一时刻的车辆速度和重力加速度的IMU预积分，公式如下：

(3)

其中，表示第一时刻，表示第二时刻，表示IMU预积分计算得到的移动终端的状态的相对变化量，是一个9维向量形式，表示姿态的三维坐标数据，表示位置的三维坐标数据，表示速度的三维坐标数据，表示ENU坐标系下第一时刻的车辆速度，表示ENU坐标系下的重力加速度，表示第一时刻和第二时刻之间的时间变化量，表示旋转矩阵，表示IMU预积分计算得到的车辆姿态的相对变化，表示IMU预积分计算得到的车辆位置的相对变化，表示IMU预积分计算得到的车辆速度的相对变化，通过旋转矩阵将式（3）表示的IMU预积分转换到了移动终端坐标系下。

示例的，位置可以通过车辆航迹推算得到，车辆航迹推算是一种常用的导航定位技术，其基本原理是利用IMU的陀螺仪与加速度计来推算车辆的瞬时位置，可以实现连续自主式定位。

计算考虑了科氏加速度后的IMU预积分，公式如下：

（4）

其中，表示考虑了科氏加速度的IMU预积分相比于未考虑的IMU预积分计算得到的车辆状态的相对变化的增量，表示ENU坐标系下地球的自转角速度。

计算转换到移动终端坐标系下得到修正科氏加速度后的IMU预积分，公式如下：

（5）

其中，表示通过考虑了科氏加速度的IMU预积分计算得到的车辆状态的相对变化。

在步骤1024中，确定任意两个相邻时刻的惯性传感数据之间的偏移值，将偏移值确定为零偏因子。

示例的，偏移值是指IMU零偏，零偏因子是指IMUBias因子，两个相邻时刻为第一时刻和第二时刻，当IMU零偏发生变化时会影响IMU预积分的数值，因此还需要构建IMUBias因子对IMU零偏进行约束，IMUBias因子的数学表达形式如下:

（6）

其中，表示第一时刻，表示与第一时刻相邻的第二时刻，也即是在第一时刻之后的下一个采集传感器数据的时刻，表示第一时刻的IMU零偏，表示第二时刻的零偏，表示局部坐标系，也就是以物体的中心为坐标原点的坐标系，物体的旋转、平移等操作都是围绕局部坐标系进行的，表示零偏的相对变化量，也即IMUBias因子。

在步骤1025中，将卫星传感数据中的移动终端在移动终端坐标系中的速度，转换为车辆坐标系下的速度，以作为转换因子。

示例的，移动终端坐标系是指IMU坐标系，车辆坐标系是用来描述车辆运动的特殊动坐标系；车辆坐标系的原点与车辆的质心重合，当车辆在水平路面上处于静止状态，X轴平行于地面指向车辆前方，Z轴通过车辆质心指向上方，Y轴指向驾驶员的左侧。NHC因子的数学表达形式如下：

（7）

其中，表示NHC因子，表示车辆坐标系下车辆的三维速度。

继续参见图3A，在步骤103中，获取每个因子的预设的约束条件，基于每个因子的预设的约束条件，确定每个因子的误差函数。

在一些实施例中，每个因子以及对应的预设的约束条件可以通过因子表示，参见图4，图4是本申请实施例提供的每个因子和每个因子的预设的约束条件之间的关系示意图，也称为因子图。其中，矩形表示各个因子，例如：状态量因子、卫星传感因子、惯性传感因子、零偏因子和转换因子，圆形表示不同的约束条件，例如：位姿、速度、零偏和安装角，实线表示各个因子和不同的约束条件之间的联系，例如：状态量因子由初始状态量约束，卫星传感因子由位姿和速度约束，惯性传感因子由位姿、速度和零偏约束，零偏因子由前一时刻的零偏约束，转换因子由位姿约束，根据每个因子的预设的约束条件可以构建每个因子的误差函数。

在一些实施例中，参见图3C，图3C是本申请实施例提供的移动终端的状态预测的第三流程示意图，图3A示出的步骤103“基于每个因子的预设的约束条件，确定每个因子的误差函数”可以通过图3C的步骤1031A实现，下面具体说明。

当因子为状态量因子时，状态量因子的预设的约束条件包括：预设状态量和移动终端在初始时刻的状态量；其中，预设状态量是移动终端的状态量的预先设定的初始值。

在步骤1031A中，确定移动终端在初始时刻的状态量和预设状态量之间的差值，将差值作为状态量因子的误差函数。

示例的，状态量因子的误差函数的计算公式如下：

（8）

其中，表示移动终端在初始时刻的状态量，表示预设状态量。

在一些实施例中，参见图3D，图3D是本申请实施例提供的移动终端的状态预测的第四流程示意图，图3A示出的步骤103“基于每个因子的预设的约束条件，确定每个因子的误差函数”还可以通过图3D的步骤1031B实现，下面具体说明。

当因子为卫星传感因子时，卫星传感因子的预设的约束条件包括：移动终端的当前状态量中的位置分量和卫星传感数据中的位置数据。

在步骤1031B中，确定位置分量与位置数据之间的差值，将差值作为卫星传感因子的误差函数。

示例的，卫星传感因子的误差函数的计算公式如下：

（9）

其中，表示移动终端的当前状态量中的位置分量，表示卫星传感数据中的位置数据。

在一些实施例中，参见图3E，图3E是本申请实施例提供的移动终端的状态预测的第五流程示意图，图3A示出的步骤103“基于每个因子的预设的约束条件，确定每个因子的误差函数”还可以通过图3E的步骤1031C以及步骤1032C实现，下面具体说明。

当因子为惯性传感因子时，惯性传感因子的预设的约束条件包括：移动终端在第一时刻的真实状态量，第一时刻是包括初始时刻在内的任意一个时刻，移动终端在第二时刻的真实状态量，第二时刻位于第一时刻之后，真实状态量是基于惯性传感器采集的。

在步骤1031C中，基于第一时刻的真实状态量进行从第一时刻到第二时刻之间的积分运算，得到第二时刻的预测状态量。

示例的，对图像第k帧（即第一时刻）和第k+1帧（即第二时刻）之间的所有IMU进行积分，对应的IMU坐标系为和，根据k时刻的真实状态量，积分求得k+1时刻的预测状态量：

（10）

其中，表示k+1时刻的位移，表示k时刻的位移，表示k时刻的速度，表示从k时刻到k+1时刻的时间间隔，表示从IMU坐标系变换到世界坐标系的转换矩阵，表示IMU中的加速度，表示加速计的偏置，表示加速计的附加噪声，表示k时刻的重力加速度，表示k+1时刻的速度，表示k+1时刻的姿态，表示k时刻的姿态，表示IMU中的角速度，表示陀螺仪的偏置，表示陀螺仪的附加噪声，表示位姿的变换矩阵。

在步骤1032C中，确定第二时刻的真实状态量与预测状态量的差值，将差值作为惯性传感因子的误差函数。

示例的，惯性传感因子的误差函数的计算公式如下：

（11）

（12）

其中，表示第二时刻的预测状态量，表示第一时刻的真实状态量，表示第二时刻的真实状态量，函数的作用是将9维向量形式的车辆状态相对变化转换为车辆状态的形式，函数的作用计算两个车辆状态之间的相对变化，得到的error形式是9维向量。

在一些实施例中，参见图3F，图3F是本申请实施例提供的移动终端的状态预测的第六流程示意图，图3A示出的步骤103“基于每个因子的预设的约束条件，确定每个因子的误差函数”还可以通过图3F的步骤1031D以及步骤1032D实现，下面具体说明。

当因子为零偏因子时，零偏因子的预设的约束条件包括：移动终端在第一时刻的偏移值，第一时刻是包括初始时刻在内的任意一个时刻，移动终端在第二时刻的偏移值；其中，第二时刻位于第一时刻之后，第一时刻的偏移值和第二时刻的偏移值是分别基于第一时刻的真实状态量和第二时刻的真实状态量获取的。

在一些实施例中，第一时刻的真实状态量和第二时刻的真实状态量都是由惯性传感器采集的，第一时刻的偏移值由第一时刻的真实状态量确定，第二时刻的偏移值由第二时刻的真实状态量确定。

在步骤1031D中，确定第一时刻的偏移值在局部坐标系下的局部坐标。

在步骤1032D中，确定局部坐标与第二时刻的偏移值之间的乘积，将乘积作为零偏因子的误差函数。

示例的，零偏因子的误差函数的计算公式如下：

（13）

其中，与其他因子不同的是，零偏在车辆运动过程中不会发生变化，因此零偏因子的误差函数为，为公式（6）所介绍的零偏因子的数学表达形式，表示零偏的相对变化量，其中，零偏因子是指两个相邻时刻的惯性传感数据的偏移值。

在一些实施例中，参见图3G，图3G是本申请实施例提供的移动终端的状态预测的第七流程示意图，图3A示出的步骤103“基于每个因子的预设的约束条件，确定每个因子的误差函数”还可以通过图3G的步骤1031E到步骤1033E实现，下面具体说明。

当因子为转换因子时，转换因子的预设的约束条件包括：卫星传感数据中的移动终端在移动终端坐标系中的速度。

在步骤1031E中，获取移动终端坐标系与车辆坐标系之间的转换关系的第一转换矩阵。

在步骤1032E中，获取移动终端坐标系与世界坐标系之间的转换关系的第二转换矩阵。

在步骤1033E中，确定第一转换矩阵、第二转换矩阵、转换因子以及预设矩阵的乘积，将乘积作为转换因子的误差函数。

示例的，转换因子的误差函数的计算公式如下：

（14）

其中，表示移动终端坐标系与车辆坐标系之间的转换关系的第一转换矩阵，表示移动终端坐标系与世界坐标系之间的转换关系的第二转换矩阵，表示上文介绍的NHC因子，表示预设矩阵，该预设矩阵表示取出车辆坐标系下的侧向和垂向速度。

继续参见图3A，在步骤104中，将多个因子分别对应的误差函数融合为目标函数。

在一些实施例中，参见图3H，图3H是本申请实施例提供的移动终端的状态预测的第八流程示意图，图3A示出的步骤104还可以通过图3H的步骤1041到步骤1043实现，下面具体说明。

在步骤1041中，确定多个因子分别对应的误差函数的范数。

示例的，各个因子分别对应的误差函数的范数为：

（15）

其中，表示各个因子对应的状态量，表示各个因子对应的观测量，表示各个因子对应的观测模型即状态量与观测量之间的关系。

在步骤1042中，对范数的和进行指数运算，得到每个因子的值。

示例的，各个因子的因子函数都可以表示为：

（16）

其中，表示各个因子。

在步骤1043中，确定不同时刻下多个因子的值的乘积，将乘积作为目标函数。

示例的，目标函数的计算公式如下：

（17）

其中，表示目标函数获取最大值时的点集，表示多个因子共同观测下的最优估计。

继续参见图3A，在步骤105中，确定目标函数的最优解，将最优解作为移动终端的估计状态。

在一些实施例中，参见图3I，图3I是本申请实施例提供的移动终端的状态预测的第九流程示意图，图3A示出的步骤105还可以通过图3I的步骤1051以及步骤1052实现，下面具体说明。

在步骤1051中，确定多个因子的误差函数的范数之和的最小值。

示例的，目标函数的计算公式可以转换为求多个因子的误差函数的范数之和的最小值，计算公式如下：

（18）

其中，表示目标函数获取最小值时的点集。

示例的，利用各个因子的误差函数，可以将公式（18）转换为：

（19）

其中，表示卫星传感因子的误差函数，表示惯性传感因子的误差函数，表示状态量因子的误差函数，表示零偏因子的误差函数，表示转换因子的误差函数。

在步骤1052中，将最小值作为目标函数的最优解。

在一些实施例中，可以在多个时刻获得最优解，因此，需要获取得到最优解的所有时刻的状态。

作为对上述的步骤101至步骤105的原理进行概括的一个示例，参见图5，图5是本申请实施例提供的移动终端的状态预测的原理示意图，将结合图5进行说明。

首先获取GNSS数据和IMU数据并对其数据预处理，得到GNSS因子、IMU因子、IMUBias因子以及NHC因子，同时，根据移动终端状态初值获取初始化状态下的Prior因子。其次，利用上述因子和每个因子的预设的约束条件进行因子图构建，其中，构建的因子图在图4中示出，从而生成目标函数。最后，对该目标函数进行非线性优化，得到移动终端的最优的估计状态，从而从估计状态中提取出安装角。

本申请实施例将历史时刻的的传感器数据作为约束条件，具有良好的抗差性，防止传感器数据质量异常带来的预测结果不稳定的问题。同时，使用多个历史时刻的传感器数据，可以提升移动终端的状态预测结果的准确性。

本申请实施例通过传感器数据和预设状态量，构造多个因子，并且基于每个因子的预设的约束条件，确定每个因子的误差函数，将多个因子的误差函数进行融合，得到目标函数，从而求得最优解作为移动终端的状态估计。因此，当需要加入新的传感器数据时，只需要根据新的传感器数据构造新的因子以及该因子对应的误差函数，从而对目标函数进行更新，减少了开发精力，提升了数据变动情况下的效率。

综上所述，通过本申请实施例可以得知，当需要添加新的传感器数据时，只需要添加新的因子以及该因子对应的误差函数，目标函数不用进行较大的变动，提升了数据变动时目标函数的处理效率，增强了状态预测方法的方便性和实时性，节省了函数变化的时间成本。本申请实施例中用到了不同时刻的传感器数据，具有良好的抗差性，可以防止传感器数据质量带来的估计结果不稳定问题。同时，多个时刻的传感器数据以及基于误差函数构造目标函数，也提高了预测的准确性。

下面继续说明本申请实施例提供的移动终端的状态预测装置455的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器450的移动终端的状态预测装置455中的软件模块可以包括：

获取模块4551，用于获取车载的移动终端的传感器数据和预设状态量。

第一确定模块4552，用于分别基于传感器数据和预设状态量，确定用于影响移动终端的状态的多个因子。

第二确定模块4553，用于获取每个因子的预设的约束条件，基于每个因子的预设的约束条件，确定每个因子的误差函数。

融合模块4554，用于将多个因子分别对应的误差函数融合为目标函数。

优化模块4555，用于确定目标函数的最优解，将最优解作为移动终端的估计状态。

在一些实施例中，多个因子包括状态量因子、卫星传感因子、惯性传感因子、零偏因子以及转换因子；传感器数据包括卫星传感数据和惯性传感数据。

第一确定模块4552还用于将移动终端的预设状态量确定为状态量因子，其中，预设状态量包括位姿、速度、零偏和安装角；将卫星传感数据中的位置数据，确定为卫星传感因子，其中，位置数据包括移动终端的三维坐标；确定任意两个相邻时刻之间的惯性传感数据的预积分，将预积分确定为惯性传感因子；确定任意两个相邻时刻的惯性传感数据之间的偏移值，将偏移值确定为零偏因子；将卫星传感数据中的移动终端在移动终端坐标系中的速度，转换为车辆坐标系下的速度，以作为转换因子。

在一些实施例中，当因子为状态量因子时，状态量因子的预设的约束条件包括：预设状态量和移动终端在初始时刻的状态量；其中，预设状态量是移动终端的状态量的预先设定的初始值。

第二确定模块4553，还用于确定移动终端在初始时刻的状态量和预设状态量之间的差值，将差值作为状态量因子的误差函数。

在一些实施例中，当因子为卫星传感因子时，卫星传感因子的预设的约束条件包括：移动终端的当前状态量中的位置分量和卫星传感数据中的位置数据。

第二确定模块4553，还用于确定位置分量与位置数据之间的差值，将差值作为卫星传感因子的误差函数。

在一些实施例中，当因子为惯性传感因子时，惯性传感因子的预设的约束条件包括：移动终端在第一时刻的真实状态量，第一时刻是包括初始时刻在内的任意一个时刻，移动终端在第二时刻的真实状态量，第二时刻位于第一时刻之后，真实状态量是基于惯性传感器采集的。

第二确定模块4553，还用于基于第一时刻的真实状态量进行从第一时刻到第二时刻之间的积分运算，得到第二时刻的预测状态量；确定第二时刻的真实状态量与预测状态量的差值，将差值作为惯性传感因子的误差函数。

在一些实施例中，当因子为零偏因子时，零偏因子的预设的约束条件包括：移动终端在第一时刻的偏移值，第一时刻是包括初始时刻在内的任意一个时刻，移动终端在第二时刻的偏移值；其中，第二时刻位于第一时刻之后，第一时刻的偏移值和第二时刻的偏移值是分别基于第一时刻的真实状态量和第二时刻的真实状态量获取的。

第二确定模块4553，还用于确定第一时刻的偏移值在局部坐标系下的局部坐标；确定局部坐标与第二时刻的偏移值之间的乘积，将乘积作为零偏因子的误差函数。

在一些实施例中，当因子为转换因子时，转换因子的预设的约束条件包括：卫星传感数据中的移动终端在移动终端坐标系中的速度。

第二确定模块4553，还用于获取移动终端坐标系与车辆坐标系之间的转换关系的第一转换矩阵；获取移动终端坐标系与世界坐标系之间的转换关系的第二转换矩阵；确定第一转换矩阵、第二转换矩阵、转换因子以及预设矩阵的乘积，将乘积作为转换因子的误差函数。

在一些实施例中，融合模块4554，还用于确定多个因子分别对应的误差函数的范数；对范数的和进行指数运算，得到每个因子的值；确定不同时刻下多个因子的值的乘积，将乘积作为目标函数。

在一些实施例中，优化模块4555，还用于确定多个因子的误差函数的范数之和的最小值；将最小值作为目标函数的最优解。

本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机可执行指令，该计算机程序或计算机可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令，处理器执行该计算机可执行指令，使得该电子设备执行本申请实施例上述的移动终端的状态预测方法。

本申请实施例提供一种存储有计算机可执行指令的计算机可读存储介质，其中存储有计算机可执行指令或者计算机程序，当计算机可执行指令或者计算机程序被处理器执行时，将引起处理器执行本申请实施例提供的移动终端的状态预测方法，例如，如图3A示出的移动终端的状态预测方法。

在一些实施例中，计算机可读存储介质可以是RAM、ROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，计算机可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（Hyper TextMarkup Language，HTML）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，计算机可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (10)

1.一种移动终端的状态预测方法，其特征在于，所述方法包括：

获取车载的移动终端的传感器数据和预设状态量；

分别基于所述传感器数据和所述预设状态量，确定用于影响所述移动终端的状态的多个因子；

获取每个所述因子的预设的约束条件，基于每个所述因子的预设的约束条件，确定每个所述因子的误差函数，其中，所述误差函数是每个所述因子的观测模型与每个所述因子的观测量之间的观测差值，所述观测模型表征每个所述因子的状态量与所述观测量之间的关系；

确定所述多个因子分别对应的所述误差函数的范数；

确定每个所述因子对应的所述范数的一半的相反数，对所述相反数进行指数运算，得到每个所述因子的值；

确定不同时刻下所述多个因子的值的乘积，将所述乘积作为目标函数；

确定所述多个因子的误差函数的范数之和的最小值；

将所述最小值作为所述目标函数的最优解，将所述最优解作为所述移动终端的估计状态。

2.根据权利要求1所述的方法，其特征在于，

所述多个因子包括状态量因子、卫星传感因子、惯性传感因子、零偏因子以及转换因子；

所述传感器数据包括卫星传感数据和惯性传感数据；

所述分别基于所述传感器数据和所述预设状态量，确定用于影响所述移动终端的状态的多个因子，包括：

将所述移动终端的预设状态量确定为所述状态量因子，其中，所述预设状态量包括位姿、速度、零偏和安装角；

将所述卫星传感数据中的位置数据，确定为所述卫星传感因子，其中，所述位置数据包括所述移动终端的三维坐标；

确定任意两个相邻时刻之间的所述惯性传感数据的预积分，将所述预积分确定为所述惯性传感因子；

确定任意两个相邻时刻的所述惯性传感数据之间的偏移值，将所述偏移值确定为所述零偏因子；

将所述卫星传感数据中的所述移动终端在移动终端坐标系中的速度，转换为车辆坐标系下的速度，以作为所述转换因子。

3.根据权利要求2所述的方法，其特征在于，

当所述因子为所述状态量因子时，所述状态量因子的预设的约束条件包括：所述预设状态量和所述移动终端在初始时刻的状态量；其中，所述预设状态量是所述移动终端的状态量的预先设定的初始值；

所述基于每个所述因子的预设的约束条件，确定每个所述因子的误差函数，包括：

确定所述移动终端在初始时刻的状态量和所述预设状态量之间的差值，将所述差值作为所述状态量因子的误差函数。

4.根据权利要求2所述的方法，其特征在于，当所述因子为所述卫星传感因子时，所述卫星传感因子的预设的约束条件包括：所述移动终端的当前状态量中的位置分量和所述卫星传感数据中的位置数据；

所述基于每个所述因子的预设的约束条件，确定每个所述因子的误差函数，包括：

确定所述位置分量与所述位置数据之间的差值，将所述差值作为所述卫星传感因子的误差函数。

5.根据权利要求2所述的方法，其特征在于，当所述因子为所述惯性传感因子时，所述惯性传感因子的预设的约束条件包括：所述移动终端在第一时刻的真实状态量，所述第一时刻是包括初始时刻在内的任意一个时刻，所述移动终端在第二时刻的真实状态量，所述第二时刻位于所述第一时刻之后，所述真实状态量是基于惯性传感器采集的；

所述基于每个所述因子的预设的约束条件，确定每个所述因子的误差函数，包括：

基于所述第一时刻的真实状态量进行从所述第一时刻到所述第二时刻之间的积分运算，得到所述第二时刻的预测状态量；

确定所述第二时刻的真实状态量与所述预测状态量的差值，将所述差值作为所述惯性传感因子的误差函数。

6.根据权利要求2所述的方法，其特征在于，当所述因子为所述零偏因子时，所述零偏因子的预设的约束条件包括：所述移动终端在第一时刻的偏移值，所述第一时刻是包括初始时刻在内的任意一个时刻，所述移动终端在第二时刻的偏移值；其中，所述第二时刻位于所述第一时刻之后，所述第一时刻的偏移值和所述第二时刻的偏移值是分别基于所述第一时刻的真实状态量和所述第二时刻的真实状态量获取的；

所述基于每个所述因子的预设的约束条件，确定每个所述因子的误差函数，包括：

确定所述第一时刻的偏移值在局部坐标系下的局部坐标；

确定所述局部坐标与所述第二时刻的偏移值之间的乘积，将所述乘积作为所述零偏因子的误差函数。

7.根据权利要求2所述的方法，其特征在于，当所述因子为所述转换因子时，所述转换因子的预设的约束条件包括：所述卫星传感数据中的所述移动终端在移动终端坐标系中的速度；

所述基于每个所述因子的预设的约束条件，确定每个所述因子的误差函数，包括：

获取所述移动终端坐标系与车辆坐标系之间的转换关系的第一转换矩阵；

获取所述移动终端坐标系与世界坐标系之间的转换关系的第二转换矩阵；

确定所述第一转换矩阵、所述第二转换矩阵、所述转换因子以及预设矩阵的乘积，将所述乘积作为转换因子的误差函数。

8.一种移动终端的状态预测装置，其特征在于，所述装置包括：

获取模块，用于获取车载的移动终端的传感器数据和预设状态量；

第一确定模块，用于分别基于所述传感器数据和所述预设状态量，确定用于影响所述移动终端的状态的多个因子；

第二确定模块，用于获取每个所述因子的预设的约束条件，基于每个所述因子的预设的约束条件，确定每个所述因子的误差函数，其中，所述误差函数是每个所述因子的观测模型与每个所述因子的观测量之间的观测差值，所述观测模型表征每个所述因子的状态量与所述观测量之间的关系；

融合模块，用于确定所述多个因子分别对应的所述误差函数的范数；确定每个所述因子对应的所述范数的一半的相反数，对所述相反数进行指数运算，得到每个所述因子的值；确定不同时刻下所述多个因子的值的乘积，将所述乘积作为目标函数；

优化模块，用于确定所述多个因子的误差函数的范数之和的最小值；将所述最小值作为所述目标函数的最优解，将所述最优解作为所述移动终端的估计状态。

9.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储计算机可执行指令；

处理器，用于执行所述存储器中存储的计算机可执行指令时，实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。