CN114637306A

CN114637306A - 无人机视觉导航策略方法、装置和介质

Info

Publication number: CN114637306A
Application number: CN202210143386.6A
Authority: CN
Inventors: 张平; 苗静思
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2022-02-16
Filing date: 2022-02-16
Publication date: 2022-06-17

Abstract

本申请公开了一种无人机视觉导航策略方法、装置和介质，方法包括：生成导航图像数据集和控制数据集，采集所述导航图像数据集和所述控制数据集；根据所述导航图像数据集和所述控制数据集计算多模态目标函数模型；将所述导航图像数据集通过变分编码器映射到低维潜在空间，根据解码器的输出更新所述多模态目标函数模型；将所述低维潜在空间映射到所述控制数据集，并根据所述多模态目标函数模型得到无人机控制命令；根据所述无人机控制命令控制无人机。本申请能够显著提高控制策略的性能，减少虚实环境差异对自主导航的影响，提高了策略迁移的鲁棒性和泛化性。

Description

无人机视觉导航策略方法、装置和介质

技术领域

本申请涉及无人机自主导航领域，尤其是一种无人机视觉导航策略方法、装置和介质。

背景技术

无人机一般在开放空域飞行，面对开放空域的感知控制问题(如纯视觉导航)，相关技术采取的方案包括采用机器学习技术，例如模仿学习和强化学习，解决对开放空域的感知控制问题。但是，相关技术机器学习过程中在真实标签数据的收集上具有较大困难，导致真实标签数据难以获得，无法适应真实场景，难以实现安全的导航应用。此外，由于相关技术中的低样本效率，仅使用现实数据解决任务比较困难，并且经常导致策略无法处理较大的感知变化。

因此，相关技术存在的上述技术问题亟待解决。

发明内容

本申请旨在解决相关技术中的技术问题之一。为此，本申请实施例提供一种无人机视觉导航策略方法、装置和介质，能够实现无人机的视觉自主导航。

根据本申请实施例一方面，提供一种无人机视觉导航策略方法，所述方法包括：

生成导航图像数据集和控制数据集，采集所述导航图像数据集和所述控制数据集；

根据所述导航图像数据集和所述控制数据集计算多模态目标函数模型；

将所述导航图像数据集通过变分编码器映射到低维潜在空间，根据解码器的输出更新所述多模态目标函数模型；

将所述低维潜在空间映射到所述控制数据集，并根据所述多模态目标函数模型得到无人机控制命令；

根据所述无人机控制命令控制无人机。

在其中一个实施例中，生成导航图像数据集和控制数据集，采集所述导航图像数据集和所述控制数据集，包括：

建立世界坐标系、NED坐标系、机体坐标系、障碍物坐标系和相机坐标系；

生成并采集无人机运行时的图像信息、姿态信息和运动学信息；

将采集的样本集进行预处理。

在其中一个实施例中，生成并采集无人机运行时的图像信息、姿态信息和运动学信息，包括：

随机选取对于机体坐标系相对于世界坐标系下的位置信息和姿态信息；

将所述姿态信息转换为欧拉角，转换公式为：

其中，q_x为姿态信息在所述世界坐标系x轴的欧拉角，q_y为姿态信息在所述世界坐标系y轴的欧拉角，q_z为姿态信息在所述世界坐标系z轴的欧拉角，

为所述机体坐标系相对于世界坐标系的滚转角度范围，

为所述机体坐标系相对于世界坐标系的俯仰角度范围，

为所述机体坐标系相对于世界坐标系的偏航范围。

在其中一个实施例中，生成并采集无人机运行时的图像信息、姿态信息和运动学信息，还包括：

对导航图像进行随机采样得到所述导航图像数据集，

计算门坐标系的相对于所述机体坐标系的滚转角度范围，计算公式为：

其中，所述

为门坐标系的相对于所述机体坐标系的滚转角度范围，α_prime为门坐标系相对于机体坐标系的俯仰角度，Correction_c为相机修正参数。

在其中一个实施例中，所述根据所述导航图像数据集和所述控制数据集计算多模态目标函数模型，包括：

将所述导航图像数据集和所述控制数据的数据模式定义为RGB图像和无人机的相对姿态，其中，所述RGB图像为第一人称视觉RGB图像；

通过所述变分编码器处理RGB数据为正态RGB数据；

根据所述正态RGB数据计算多模态目标函数模型，计算公式包括：

其中，D_KL为样本数据，p(x)和q(x)为编码器变量。

在其中一个实施例中，将所述低维潜在空间映射到所述控制数据集，并根据所述多模态目标函数模型得到无人机控制命令，包括：

通过RTT算法生成无碰撞路径；

将所述无碰撞路径修剪为最小路径点集，并联合优化一组多项式段序列，将所述最小路径点集中的路径点连接成一个从开始到目标的平滑的最小捕捉轨迹；

根据所述最小捕捉轨迹得到无人机控制命令。

在其中一个实施例中，所述最小捕捉轨迹的表达式为：

其中，p(t)为最小捕捉轨迹，p₀,p₁,…,p_n为轨迹参数，p＝[p₀,p₁,…,p_n]^T为参数向量。

根据本申请实施例一方面，提供一种无人机视觉导航策略装置，所述装置包括：

数据集模块，用于生成导航图像数据集和控制数据集，采集所述导航图像数据集和所述控制数据集；

计算模块，用于根据所述导航图像数据集和所述控制数据集计算多模态目标函数模型；

映射模块，用于将所述导航图像数据集通过变分编码器映射到低维潜在空间，根据解码器的输出更新所述多模态目标函数模型；

控制模块，用于将所述低维潜在空间映射到所述控制数据集，并根据所述多模态目标函数模型得到无人机控制命令；

根据所述无人机控制命令控制无人机。

至少一个处理器；

至少一个存储器，所述存储器用于存储至少一个程序；

当至少一个所述程序被至少一个所述处理器执行时实现如前面实施例所述的一种无人机视觉导航策略方法。

根据本申请实施例一方面，提供存储介质，所述存储介质存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时实现如前面实施例所述的无人机视觉导航策略方法。

本申请实施例提供的一种无人机视觉导航策略方法的有益效果为：本申请通过生成导航图像数据集和控制数据集，采集所述导航图像数据集和所述控制数据集；根据所述导航图像数据集和所述控制数据集计算多模态目标函数模型；将所述导航图像数据集通过变分编码器映射到低维潜在空间，根据解码器的输出更新所述多模态目标函数模型；将所述低维潜在空间映射到所述控制数据集，并根据所述多模态目标函数模型得到无人机控制命令；根据所述无人机控制命令控制无人机，能够显著提高控制策略的性能，减少环境差异对自主导航的影响，提高了策略迁移的鲁棒性和泛化性。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种无人机视觉导航策略方法的原理示意图；

图2为本申请实施例提供的一种无人机视觉导航策略方法的流程图；

图3为本申请实施例生成和采集所述导航图像数据集和所述控制数据集的方法流程图；

图4为本申请实施例提供的一种无人机视觉导航策略装置的示意图；

图5为本申请实施例提供的另一种无人机视觉导航策略装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了解决上述问题，本申请提出了一种无人机视觉导航策略方法、装置和介质，具体如下。

为了便于理解，本说明书对可能提及的专业术语和名词进行解释，具体如下：

NED坐标：NED(North East Down)坐标系，即北东地坐标系，简称为n坐标系，也叫做导航坐标系，是在导航时根据导航系统工作的需要而选取的用于导航解算的参考坐标系。

欧拉角：用来确定定点转动刚体位置的3个一组独立角参量，由章动角θ、旋进角(即进动角)ψ和自转角φ组成，为欧拉首先提出而得名。三个欧拉角是不对称的，在几个特殊位置上具有不确定性(当θ＝0时，φ和ψ就分不开)。对不同的问题，宜取不同的轴作基本轴，并按不同的方式量取欧拉角。

RTT算法：RTT(Render to Texture)，即渲染到纹理。普通的图形渲染流程中，最终结果是渲染到帧缓存中，最后显示到屏幕上，然后可以把纹理继续应用到场景绘制中，比如渲染一个场景A到纹理中，在另一个场景B上把纹理贴上去，就像是在播放A一样，再比如各种镜子中的景象也是一样，阴影图(shadow mapping)也算是运用了RTT。

Minimun Snap规划：求轨迹的多项式参数p1,...,pkp1,...,pk时轨迹满足一系列的约束条件，比如：希望设定起点和终点的位置、速度或加速度，希望相邻轨迹连接处平滑(位置连续、速度连续等)，希望轨迹经过某些路径点，设定最大速度、最大加速度等，甚至是希望轨迹在规定空间内(corridor)等等。通常满足约束条件的轨迹有无数条，而实际问题中，往往需要一条特定的轨迹，所以又需要构建一个最优的函数，在可行的轨迹中找出“最优”的那条特定的轨迹。

本申请提出了一种无人机视觉导航策略方法，图1为本申请实施例提供的一种无人机视觉导航策略方法的原理示意图，如图1所示，本申请的原理为：用于学习鲁棒性的视觉运动策略用以现实部署，并且完全使用仿真数据进行训练。该方法基于跨模态视角，将原生图像数据和任务关联状态，如无人机竞赛中门姿态数据，分离为不同模态。将两种数据模态输入到一种网络架构中，通过变分自动编码器，该架构可学习一种低维联合表示，通过模仿学习网络，将该低维联合表示映射到无人机控制指令，实现无人机的视觉自主导航。

图2为本申请实施例提供的一种无人机视觉导航策略方法的流程图，如图2所示，本申请提出的一种无人机视觉导航策略方法具体包括：

S201、生成导航图像数据集和控制数据集，采集所述导航图像数据集和所述控制数据集。

在步骤S201中，为创建图像数据集，设定图像数据集生成参数如下：门姿态参数包含世界坐标系下门坐标系的自偏航姿态范围GATE_YAW_RANGE为

世界坐标系下门坐标系相对于机体坐标系欧氏距离范围R_RANGE为

无人机姿态参数信息包含位置信息及姿态信息，位置信息包含机体坐标系相对于世界坐标系的X轴移动范围UAV_X_RANGE为

机体坐标系相对于世界坐标系的Y轴移动范围UAV_Y_RANGE为

机体坐标系相对于世界坐标系的Z轴移动范围UAV_Z_RANGE为

姿态信息包含机体坐标系相对于世界坐标系的俯仰角度范围UAV_PITCH_RANGE为

机体坐标系相对于世界坐标系的滚转角度范围UAV_ROLL_RANGE为

机体坐标系相对于世界坐标系的偏航范围UAV_YAW_RANGE为

设定相机参数包括相机图像采集范围FOV为Degree_c及相机修正参数Correction_c。

具体地，图像数据生成步骤如下：

随机生成无人机位置与姿态信息，包含对如下参数的随机采样，即：对于机体坐标系相对于世界坐标系下的位置信息，随机选取

对于机体坐标系相对于世界坐标系下的姿态信息，随机选取无人机绕机体坐标系y轴的旋转角度为

无人机绕机体坐标系x轴的旋转角度为

无人机绕机体坐标系z轴的旋转角度为

将姿态旋转信息转换为欧拉角得到以下公式：

按旋转顺序为Z,Y,X，设定

推导出四元数如下:

获得世界坐标系下无人机位姿

其中有

生成门位姿信息，对部分参数进行随机采样，即：相对于机体坐标系的门位移信息，即距离信息，取

角度信息包含相对于机体坐标系的俯仰角范围为

取

为门坐标系相对于机体坐标系的俯仰角度。取

则门坐标系的相对于机体坐标系的滚转角度范围为

取

为门坐标相对于机体坐标系的滚转角度。

S202、根据所述导航图像数据集和所述控制数据集计算多模态目标函数模型。

具体地，步骤S202中计算多模态目标函数模型具体包括：将数据模式定义为RGB图像和门与无人机的相对姿态，如X_RGB＝I_t,X_G＝Y_i＝[r,θ,φ,ψ]，RGB数据由编码器q_RGB处理成正态分布N(μ_t,σ_t)，按z_t采样。任何一种数据模式都可以使用解码器P_RGB和P_gate从潜在空间中恢复。一个数据样本x_i(例如RGB数据)被嵌入潜在空间以获得向量z，该样本用于重建数据样本x_t(比如说RGB图像或门姿态)。为了实现这一点，在模型

下，最大化了我们所期望的输出模态x_t的对数概率，此处θ为模型参数。

类似于原来的推导，经过变形可得：log p(x_t)＝∫q(z|x_i)logp(x_t)dz，其中∫q(z|x_i)dz＝1，故扩展为

且

分割上述公式积分：

其中，p(x_t|z)为后验概率，以q(z|x_i)近似。

对于任意分布p,q有D_KL(p(x)||q(x))≥0，可得最后下界：

其中，q(z|x_i)为编码器，将x_i嵌入潜在空间，p(x_i|z)为解码器，将潜在样本z转化为期望表示x_t。

S203、将所述导航图像数据集通过变分编码器映射到低维潜在空间，根据解码器的输出更新所述多模态目标函数模型。

在步骤S203中，对多模态目标函数模型的更新包括如下步骤：根据编码器配置，生成如下重建：

其中

可得损失如下

Total＝Loss_RGB+Loss_Gate+Loss_KL

更新模块依据Total来对模型进行响应的调整，使之重新适应当前的数据流环境。

S204、将所述低维潜在空间映射到所述控制数据集，并根据所述多模态目标函数模型得到无人机控制命令。

在步骤S204中，W世界坐标系，B机体坐标系，G_i目标门坐标系，E定义完整的环境几何图形和对象类别。假设所有的门都是直立的，设y_i＝[r,θ,φ,ψ]，表示G_i在B下相对球形坐标与偏航。

定义

为编码函数，将图像I_t映射到大小为N的潜在压缩向量z_t。定义

为控制策略，将当前编码状态映射到机体速度命令v_B＝[v_x,v_y,v_z,v_ψ]即线速度和偏航速度。定义π^*为专家控制策略，在可观测状态s中，寻找最优模型参数Θ^*,Φ^*来最小化我们的控制策略与专家控制策略之间的距离D的期望。

通过步骤S201-S204，可获得门坐标系在机体坐标系下的位置信息，即：

则有

为门坐标系原点在机体坐标系下的位置向量，设

为机体坐标系到世界坐标系的姿态转移矩阵。则有门坐标系原点在世界坐标系下的位置向量为

门坐标系下，相对于门坐标系Z轴的偏航角设定为ψ_g,设定按ZYX轴进行旋转，设定转换矩阵为

则可获得对应的四元数为

至此可获得世界坐标系下门坐标系的位姿信息

可选地，本实施例可以在仿真环境中依据

设定无人机位姿，

设定门位姿，控制无人机的FPV摄像头进行拍照，并同时将

一并存储，即可获取一个图像样本集d_i＝(rgb_i,g_i),其中rgb_i代表RGB图像，g_i代表门姿态，有

经过迭代N次，即可获取规模为N的样本集D_N＝[d₀,d₁,…,d_n]，该样本集用于本实施例更新编码器模型。

S205、根据所述无人机控制命令控制无人机。

在步骤S205中，获得的无人机控制命令包括对无人机飞行速度、飞行路线和飞行高度的控制命令。例如，本申请对无人机控制采用四旋翼无人机运动学及控制，为能够精确地遵循想要生成的多项式轨迹，，示例性的，利用标准四旋翼运动方程的微分平坦性，公式如下：

其中，

为在世界坐标系下的机体坐标系位置矢量，ω为机体坐标系中的角速度矢量，f和M分别为机体坐标系下的净推力与力矩。J和m分别为四旋翼无人机的惯性张量和质量。z_B是与四个转子轴线对齐的单位矢量，表示推力的方向。z_w是表示重力方向的单位矢量。对于四旋翼电机期望速度，存在一个简单的f和M到四个电机期望速度的映射关系。一个多项式的轨迹段由四个多项式的时间函数组成，它们指定了所谓的平面输出变量x,y,z和在平面输出空间中两个状态之间的ψ(偏转角)的独立演化，用于跟踪可微分轨迹的非线性控制器由对推力和力矩的独立计算组成：

其中e_x,e_v,e_R,e_ω分别为位置，速度，航向和角速度的误差矩阵。k_x,k_v,k_R,k_ω与控制增益相关。R是表示四旋翼航向的旋转矩阵。

需要说明的是，获取控制指令后需要根据控制指令对无人机的飞行轨迹进行规划，具体包括：用n阶多项式来表示无人机的飞行轨迹，即

其中，p₀,p₁,…,p_n为轨迹参数，设置参数向量为p＝[p₀,p₁,…,p_n]^T,则轨迹向量形式如下：

p(t)＝[1,t,t²,…,tⁿ]·p

通过采用Minimun Snap轨迹规划生成最优轨迹，根据轨迹和机器人的当前状态(当前位置、速度和加速度)，输出无人机控制指令，控制无人机沿着轨迹运动，并采集专家经验数据集π^*＝(X_rgb,X_command),其中X_rgb为无人机采集的第一人称视觉RGB图像，X_command为相近时间内输出给无人机的控制命令，即

X_command＝[v_x,v_y,v_z,ψ]

图3为本申请实施例生成和采集所述导航图像数据集和所述控制数据集的方法流程图，如图3所示，生成导航图像数据集和控制数据集，采集所述导航图像数据集和所述控制数据集，包括：

S301、建立坐标系。

在步骤S301中，建立坐标系具体包括：世界坐标系，记为w系：以场地中坐标为(0,0,0)的位置为原点O_w，正北朝向为x_w，正东朝向为y_w，地面朝向为z_w；NED坐标系，记为n系：NED坐标系是在导航计算时使用的坐标系，向量分别指向北，东，地，因此NED坐标系也经常称为“北东地坐标系”；机体坐标系，记为b系:机体坐标系与飞行器固联，坐标系符合右手法则，原点在飞行器重心处为O_b，x轴指向飞行器机头前进方向x_b，y轴由原点指向飞行器右侧y_b，z轴方向通过x,y由右手法则确定z_b。机体坐标系是无人机惯性导航的基础坐标系，IMU中获得的加速度状态信息就是该坐标系下的数值。当我们获取IMU输出的x轴加速度信息时不能直接应用在NED坐标系下；障碍物坐标系，记为g系：障碍物坐标系与障碍物固联，坐标系符合右手法则，原点在障碍物重心处为O_g.。x轴指向正北方x_b，y轴指向正东方为y_b，z轴方向通过x,y由右手法则确定z_b；相机坐标系，记为c系：以光学系统的像方主点为原点O_C；当正对光学系统观察时，x_c轴平行于成像平面坐标系的水平轴，左向为正；y_c轴平行于成像平面坐标系的垂直轴，向下为正；z_c轴指向观察者，并与x_c轴和y_c轴构成右手坐标系。

S302、生成数据集。

S303、预处理。

可选地，本实施例中根据所述导航图像数据集和所述控制数据集计算多模态目标函数模型，包括：将所述导航图像数据集和所述控制数据的数据模式定义为RGB图像和无人机的相对姿态，其中，所述RGB图像为第一人称视觉RGB图像；通过所述变分编码器处理RGB数据为正态RGB数据；根据所述正态RGB数据计算多模态目标函数模型，计算公式包括：

其中，D_KL为样本数据，p(x)和q(x)为编码器变量。

可选地，本实施例中将所述低维潜在空间映射到所述控制数据集，并根据所述多模态目标函数模型得到无人机控制命令，包括：通过RTT算法生成无碰撞路径；将所述无碰撞路径修剪为最小路径点集，并联合优化一组多项式段序列，将所述最小路径点集中的路径点连接成一个从开始到目标的平滑的最小捕捉轨迹；根据所述最小捕捉轨迹得到无人机控制命令。

可选地，本实施例中的最小捕捉轨迹的表达式为：

本申请实施例提供的一种无人机视觉导航策略方法的有益效果为：本申请能够显著提高控制策略的性能，减少虚实环境差异对自主导航的影响，提高了策略迁移的鲁棒性和泛化性。

图4为本申请实施例提供的一种无人机视觉导航策略装置的示意图，如图4所示，本申请的一种无人机视觉导航策略装置包括：

数据集模块401，用于生成导航图像数据集和控制数据集，采集所述导航图像数据集和所述控制数据集；

计算模块402，用于根据所述导航图像数据集和所述控制数据集计算多模态目标函数模型；

映射模块403，用于将所述导航图像数据集通过变分编码器映射到低维潜在空间，根据解码器的输出更新所述多模态目标函数模型；

控制模块404，用于将所述低维潜在空间映射到所述控制数据集，并根据所述多模态目标函数模型得到无人机控制命令，根据所述无人机控制命令控制无人机。

可见，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

参照图5，本申请实施例提供了一种无人机视觉导航策略装置，包括：

至少一个处理器501；

至少一个存储器502，用于存储至少一个程序；

当至少一个程序被至少一个处理器501执行时，使得至少一个处理器501实现的前述实施例的无人机视觉导航策略方法。

同理，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明实施例还提供了一种存储介质，存储介质存储有程序，程序在被处理器执行时用于实现前述实施例的方法。

上述的方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述的方法实施例相同。

同理，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。