CN110096328A - 一种基于飞行任务的hud界面优化布局自适应方法及系统 - Google Patents

Abstract

本发明涉及一种基于飞行任务的HUD界面优化布局自适应方法及系统，系统包括HUD界面、眼动追踪装置、HUD界面调节装置和界面储存装置，所述眼动追踪装置用于记录飞行过程中飞行员在HUD界面各区域的注视点数量和位置，所述界面储存装置用于储存不同飞行员在不同飞行任务下经过自适应的界面布局，在正式飞行期间直接调用存储的自适应界面布局，所述HUD布局自适应方法主要通过眼动仪记录飞行员的注意力分配情况，通过自适应函数迭代计算得到最合适的界面区域大小布局，从而调整HUD界面布局，突出显示重点区域，使飞行员注意力分配强度达到最大，以解决不同任务下部分重点需要的信息无法得到充分的显示，导致飞行员的认知绩效变低的问题。

Description

一种基于飞行任务的HUD界面优化布局自适应方法及系统

技术领域

本发明涉及HUD技术领域，特别涉及一种基于飞行任务的HUD界面优化布局自适应方法及系统。

背景技术

抬头显示器(Head Up Display,HUD)，又称为平视显示器，最早运用在军用飞机上，其作用是降低飞行员需要低头查看仪表的频率，从而避免注意力终端以及丧失对状态意识的掌握，后来，HUD技术应用于民航和汽车上，希望减少因为驾驶员低头查看仪表或中控显示而引起的事故，增强驾驶安全性。

在战斗机驾驶过程中，不同飞行任务模式下，飞行员对HUD界面的关注点不同，即注意力分配情况不同，比如，在飞机起飞阶段，发动机转速信息最重要，其次是空速信息，而高度信息相对不太重要；而在飞机巡航阶段，地平信息最重要，其次是空速、高度信息，而发动机转速信息相对不太重要，越重要的信息分配到的注意力资源越多。目前，战斗机HUD界面各区域大小在使用过程中是不变的，随着任务的进行，飞行员的需求不停的发生变化，部分重点需要的信息无法得到充分的显示，导致飞行员的认知绩效变低，并且，不同的机型，驾驶员对于界面各功能区域的需求度也不同。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于飞行任务的HUD界面优化布局自适应方法，可以解决飞行员的认知绩效低的问题，另一方面，本发明还提供一种基于飞行任务的HUD界面优化布局自适应系统。

技术方案：本发明所述的基于飞行任务的HUD界面优化布局自适应方法，包括：学习阶段：

(1)根据功能将HUD界面整体划分为多个子区域，并以二维坐标形式表示HUD界面各个子区域的位置；

(2)分别采集不同作战任务下飞行员的眼动数据，根据所述眼动数据，得到飞行员对目标的视觉注意力分配的关系；

(3)根据飞行员视知觉基础研究，将HUD界面所在视野的区域进行等级划分，得到各子区域在视野等级中的所占面积，并对所述HUD界面中的各功能子区域进行编号；

(4)计算每个功能子区域对应的兴趣度值，判断所述不同作战任务下，所述目标的相对重要程度以及所述重要程度对应的权值；

(5)根据所述可视化区域等级划分和所述重要程度对应的权值计算兴趣度，进而得到所述HUD界面中界面适应度函数值最高的功能区域；

(6)以HUD界面信息最小元素大小栅格化HUD界面，用以简化表示HUD各子区域的面积，从而简化界面适应度函数的计算；

(7)突出显示界面适应度函数值最大的功子能区域，并自适应调整界面布局，实时计算界面适应函数值，并与上一次适应值相比较，经过多次迭代调整，选取适应值最大的界面布局作为最终输出界面；

正式飞行阶段：

调出使用HUD自适应界面库，所述HUD自适应界面库由记忆储存装置建立，所述记忆存储装置包括在学习阶段不同任务下适应后存储的所述HUD界面。

可选的，进一步包括：

所述步骤(1)中，界面整体被功能对象划分为多个子区域，并以表示HUD界面各个功能子区域的位置和兴趣度，表示为：功能子区域集合R＝(r₁,r₂,...,r_n)，功能对象为n个，即子区域有n个，每个界面子区域由r_j定义为其中，(x_j,y_j)表示子区域的中心点在界面中的坐标，表示功能子区域的兴趣度。

可选的，进一步包括：

所述步骤(4)中，每个功能子区域对应的兴趣度值，计算公式为：

其中，1≤j≤n，W_j是功能子区域重视程度，表示为：

其中，t_j表示第j个功能子区域内注视点的数量，为用户在所述HUD界面中注视点总数；

第j个功能子区域内信息量的权值表示为：

其中，H_j为信息熵，表示为：

其中，p_j为整个图像中某灰度出现的概率，L为整个灰度级类型总数。

可选的，进一步包括：

所述步骤(5)中，界面适应度函数定义为：

其中，子区域在不同等级的视野范围内所占区域的视觉注意力等级为E＝{e_jk}，e_jk为功能子区域j在视野范围k中所占区域的视觉注意力等级，S_jk为功能子区域j在视野区域k中所占面积大小；j＝1,2,...,n，n为功能子区域的总数；k＝1,2,...,m，m为可视化等级划分的个数，f_j为功能子区域对应的兴趣度权值。

可选的，进一步包括：

所述可视化等级划分为：在标准坐姿下，分为A区域、B区域、C区域，所述A区域为最佳视野区域，水平范围在30°左右，垂直范围35°左右；B区域为有效区域，水平范围在70°，垂直35°左右；C区域为除A、B以外的区域，且视野范围A区域>B区域>C区域，A区域内取值3，B区域内取值2，C区域内取值1。

可选的，进一步包括：

所述步骤(7)中，与上一次适应值相比较，经过多次迭代调整，具体包括：

(71)按照长宽尺寸比例调整兴趣度最大的功能子区域，依次调整子区域大小，直到调整到兴趣度最小的功能区域；

(72)若兴趣值相等，则按原面积大小从大到小来确定调整顺序，调整后计算注意力分配强度值Z_i，并与前一次Z_i-1相比较；

(73)经过学习模式计算调整界面功能子区域大小，学习模式为：每次循环，区域面积按照界面栅格化时最小单元尺寸的比例逐渐增加，经过多次迭代计算调整界面功能子区域大小，并将达到尺寸限度之前Z值最大的子区域布局作为最终界面输出，其中，最大功能子区域尺寸不得超过HUD界面尺寸，最小功能子区域尺寸中最小信息单元尺寸不得小于国标最低尺寸。

可选的，进一步包括：

所述区域尺寸布局定位规则如下：

其中，W和H分别为HUD界面的宽和高；(x_p,y_p)和(x_q,y_q)分别代表第p个和第q个调整尺寸的功能区域中心点坐标，且p≠q，w_p与h_p第p个调整尺寸的功能子区域的宽和高，w_q和h_q为第q个调整尺寸的功能子区域的宽和高。

一种基于飞行任务的HUD界面优化布局自适应系统，包括：眼动追踪仪、HUD界面、HUD界面调节装置以及界面储存装置，所述眼动追踪仪用于记录飞行过程中飞行员的眼动轨迹特征，所述HUD界面调节装置用于学习阶段调整HUD界面布局以及正式飞行阶段显示HUD界面，所述界面储存装置用于储存学习阶段不同飞行员在不同飞行任务下经过自适应调整后的界面布局，形成自适应界面布局库，在正式飞行期间直接调用所述界面储存装置的自适应界面布局库中的界面进行显示。

可选的，进一步包括：

所述HUD界面调节装置包括：

区域划分模块，用于根据功能将HUD界面整体划分为多个子区域，并以二维坐标形式表示HUD界面各个子区域的位置；

采集模块，用于采集不同作战任务下飞行员的眼动数据，根据所述眼动数据，得到飞行员对目标的视觉注意力分配的关系；

等级划分模块，用于根据飞行员视知觉基础研究，将HUD界面所在视野的区域进行等级划分，得到各子区域在视野等级中的所占面积，并对所述HUD界面中的各功能子区域进行编号；

目标重要程度计算模块，用于计算每个功能子区域对应的兴趣度值，判断所述不同作战任务下，所述目标的相对重要程度以及所述重要程度对应的权值；

兴趣度计算模块，用于根据所述可视化区域等级划分和所述重要程度对应的权值计算兴趣度，进而得到所述HUD界面中界面适应度函数值最高的功能区域；

栅格化模块，用于以HUD界面信息最小元素大小栅格化HUD界面，用以简化表示HUD各子区域的面积，从而简化界面适应度函数的计算；

调整模块，用于突出显示界面适应度函数值最大的功子能区域，并自适应调整界面布局，实时计算界面适应函数值，并与上一次适应值相比较，经过多次迭代调整，选取适应值最大的界面布局作为最终输出界面。

可选的，进一步包括：

所述兴趣度计算模块中，每个功能子区域对应的兴趣度值，计算公式为：

其中，1≤j≤n，W_j是功能子区域重视程度，表示为：

其中，t_j表示第j个功能子区域内注视点的数量，为用户在所述HUD界面中注视点总数；

第j个功能子区域内信息量的权值表示为：

其中，H_j为信息熵，表示为：

其中，p_j为整个图像中某灰度出现的概率，L为整个灰度级类型总数。

有益效果：本发明与现有技术相比，其显著优点是：1、本发明基于功能划分HUD界面，并将界面信息熵计算应用于HUD界面研究，基于眼动仪提供了一种界面区域兴趣度计算方法，可以更好量化飞行员实际操作时的注意力，从而进行界面研究；2、本发明根据飞行员视觉模型等级量化HUD界面，并基于兴趣度提出一种HUD自适应计算方法，为HUD界面研究提供理论模型基础，一定程度上减少了实际HUD界面研究时间和经济方面的损耗；3、本发明根据飞行员的注意力分配情况自适应调节HUD界面布局，突出显示重点区域，可以增加飞行员的认知绩效，降低飞行事故。

附图说明

图1为本发明实施例1所述的方法流程图；

图2为本发明实施例1所述的HUD界面功能分区图；

图3为本发明实施例1所述的飞行员视野方位仿真图；

图4为本发明实施例1所述的HUD界面分区编号图；

图5为本发明实施例1所述的HUD界面区域划分示意图；

图6为本发明实施例1所述的目标模块化处理图；

图7为本发明实施例2所述的系统结构示意图；

图8为本发明实施例2所述的HUD界面调节装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

首先对本发明中的技术术语做以下说明：

Tobii眼动追踪仪是一款可以嵌入到产品内部的视觉运动追踪器，可以获取人眼注视位置的数据，并转化为数字信号，可用作眼动数据分析。

飞机HUD是指运用在航空器上的飞行辅助仪器。平视的意思是指飞行员不需要低头就能够看到他需要的重要资讯。最早出现在军用飞机上，降低飞行员需要低头查看仪表的频率，避免注意力中断以及丧失对状态意识(Situation Awareness)的掌握。

以下结合附图对本发明技术方案做进一步介绍

参阅图1所示，为本发明实施例中基于飞行任务的HUD自适应布局优化方法，包括：

第一阶段：学习阶段：

S100、根据功能将HUD界面整体划分为多个子区域，并以二维坐标形式表示HUD界面各个子区域的位置。

具体的：参阅如图2所示，界面整体被功能对象划分为多个子区域，并以表示HUD界面各个功能子区域的位置和兴趣度，表示为：功能子区域集合R＝(r₁,r₂,...,r_n)，功能对象为n个，即子区域有n个，每个界面子区域由r_j定义为其中，(x_j,y_j)表示子区域的中心点在界面中的坐标，表示功能子区域的兴趣度，在不同飞行任务模式下，子功能区域划分不一样，n的总数不一样。

S110、分别采集不同作战任务下飞行员的眼动数据，根据所述眼动数据，得到飞行员对目标的视觉注意力分配的关系。

具体的：作战任务包括起飞、巡航、近程空对空、降落等，眼动数据为飞行员对各个功能子区域内的注视点，注视时长和眼动轨迹。

S120、根据飞行员视知觉基础研究，将HUD界面所在视野的区域进行等级划分，得到各子区域在视野等级中的所占面积，并对所述HUD界面中的各功能子区域进行编号。

具体的：对飞行员视觉可视化区域等级进行划分，如图3所示，对飞行员视觉可视化区域进行仿真分析，在标准坐姿下划分区域等级，整体划分为三部分，目标越偏离视觉中心，飞行员对目标的视觉注意力分配越少，当目标完全处于A区域内，能引起飞行员视觉注意力的高度集中，当目标处于C区域时，飞行员能看到但是不能很好的进行观察，A区域是最佳视野区域，水平范围在30°左右，上下35°左右，为最佳视野区域，B区为良好区域，水平范围在70°左右，垂直35°，C区域为最大视野，是除A、B以外的区域；因此可视性等级划分为A区域>B区域>C区域，视野范围A区域>B区域>C区域，A区域内取值3，B区域内取值2，C区域内取值1。对各功能子区域进行编号，a～i为HUD界面主要目标所在位置。

S130、计算每个功能子区域对应的兴趣度值，判断所述不同作战任务下，所述目标的相对重要程度以及所述重要程度对应的权值。

具体的：每个功能子区域对应的兴趣度值，计算公式为：

其中，1≤j≤n，W_j是功能子区域重视程度，表示为：

其中，t_j表示第j个功能子区域内注视点的数量，为用户在所述HUD界面中注视点总数；

第j个功能子区域内信息量的权值表示为：

其中，H_j为信息熵，表示为：

其中，p_j为整个图像中某灰度出现的概率，L为整个灰度级类型总数，这里取256个灰度值，即L＝256。

S140、根据所述可视化区域等级划分和所述重要程度对应的权值计算兴趣度，进而得到所述HUD界面中界面适应度函数值最高的功能区域；

具体的：本发明在建立HUD界面视觉注意力划分模型和目标区域重要程度分析的基础上，以界面最终布局的视觉注意分配达到最优为目标函数，即适应度函数，适应度函数越大，说明飞行员注意力对越重要的目标模块分配得越多。根据所述可视化区域等级划分来计算适应度函数。

本发明所述的适应度函数结合了前文所述的兴趣度进行计算，更为直接，简洁，以及与HUD界面的结合更为紧密，界面适应度函数定义为，如图6所示：

其中，子区域在不同等级的视野范围内所占区域的视觉注意力等级为E＝{e_jk}，e_jk为功能子区域j在视野范围k中所占区域的视觉注意力等级，S_jk为功能子区域j在视野区域k中所占面积大小；目标在不同等级的视野范围内分别占据的面积大小为S＝{S_jk}，j＝1,2,...,n，n为功能子区域的总数；k＝1,2,...,m，m为可视化等级划分的个数，f_j为功能子区域对应的兴趣度权值。根据初始数据计算得出初始注意力分配强度Z₁，本发明中m＝3。

S150、以HUD界面信息最小元素大小栅格化HUD界面，用以简化表示HUD各子区域的面积，从而简化界面适应度函数的计算。

具体的：飞行员对目标的视觉注意力分配与目标所在视野的区域和各个视野区域中占的面积有关，如图4，为了计算目标在视野区域中所占面积，根据注意力分配情况，将人机界面所在的视野区域进行划分，以视觉中心为划分中心做栅格化处理。

最小单元面积要适应界面功能目标的尺寸，如图5，使目标大部分落在视野范围内，各个区域在视野区域中占据了一定的单元面积。

S160、突出显示界面适应度函数值最大的功子能区域，并自适应调整界面布局，实时计算界面适应函数值，并与上一次适应度函数值相比较，经过多次迭代调整，选取适应值最大的界面布局作为最终输出界面。

具体的：与上一次适应值相比较，经过多次迭代调整，具体包括：

(1)按照长宽尺寸比例调整兴趣度最大的功能子区域，依次调整子区域大小，直到调整到兴趣度最小的功能区域；

(2)若兴趣值相等，则按原面积大小从大到小来确定调整顺序，调整后计算注意力分配强度值Z_i，并与前一次Z_i-1相比较；

(3)经过学习模式计算调整界面功能子区域大小，学习模式为：每次循环，区域面积按照界面栅格化时最小单元尺寸的比例逐渐增加，经过多次迭代计算调整界面功能子区域大小，并将达到尺寸限度之前Z值最大的子区域布局作为最终界面输出，其中，最大功能子区域尺寸不得超过HUD界面尺寸，最小功能子区域尺寸中最小信息单元尺寸不得小于国标最低尺寸：字符线宽应不低于0.7mr。

进一步包括，所述区域尺寸布局定位规则如下：

其中，W和H分别为HUD界面的宽和高；(x_p,y_p)和(x_q,y_q)分别代表第p个和第q个调整尺寸的功能区域中心点坐标，且p≠q，w_p与h_p第p个调整尺寸的功能子区域的宽和高，w_q和h_q为第q个调整尺寸的功能子区域的宽和高，式(1)和式(2)说明各功能区域需要完全布入HUD界面中，式(3)和式(4)说明不同的功能区域之间不能发生干涉现象。

本发明按照功能区域的兴趣值从大到小的顺序确定调整顺序，若兴趣值相等，则按原始面积大小从大到小来确定调整顺序，调整后计算注意力分配强度值Z_i，并与前一次Z_i-1相比较，经过学习模式：每次循环计算时，区域面积按照界面栅格化时最小单元尺寸的比例逐渐增加，经过多次迭代计算调整界面功能区域大小，将达到尺寸限度之前Z值最大的区域布局作为最终界面输出，储存于记忆储存装置中，正式飞行阶段使用时直接调用。

第二阶段：正式飞行阶段：

调出使用HUD自适应界面库，所述HUD自适应界面库由记忆储存装置建立，所述记忆存储装置包括在学习阶段不同任务下适应后存储的所述HUD界面。

实施例2

参阅图4所示，为本发明实施例中基于飞行任务的HUD界面优化布局自适应系统结构示意图，至少包括：眼动追踪仪1、HUD界面2、HUD界面调节装置3以及界面储存装置4，所述眼动追踪仪用于记录飞行过程中飞行员的眼动轨迹特征，所述HUD界面调节装置用于学习阶段调整HUD界面布局以及正式飞行阶段显示HUD界面，所述界面储存装置用于储存学习阶段不同飞行员在不同飞行任务下经过自适应调整后的界面布局，形成自适应界面布局库，在正式飞行期间直接调用所述界面储存装置的自适应界面布局库中的界面进行显示。

可选的，进一步包括：

所述HUD界面调节装置3包括：

区域划分模块31，用于根据功能将HUD界面整体划分为多个子区域，并以二维坐标形式表示HUD界面各个子区域的位置。

具体的：界面整体被功能对象划分为多个子区域，并以表示HUD界面各个功能子区域的位置和兴趣度，表示为：功能子区域集合R＝(r₁,r₂,...,r_n)，功能对象为n个，即子区域有n个，每个界面子区域由r_j定义为其中，(x_j,y_j)表示子区域的中心点在界面中的坐标，表示功能子区域的兴趣度，在不同飞行任务模式下，子功能区域划分不一样，n的总数不一样。

采集模块32，用于采集不同作战任务下飞行员的眼动数据，根据所述眼动数据，得到飞行员对目标的视觉注意力分配的关系。

具体的：作战任务包括起飞、巡航、近程空对空、降落等，眼动数据为飞行员对各个功能子区域内的注视点，注视时长和眼动轨迹。

等级划分模块33，用于根据飞行员视知觉基础研究，将HUD界面所在视野的区域进行等级划分，得到各子区域在视野等级中的所占面积，并对所述HUD界面中的各功能子区域进行编号；

具体的：对飞行员视觉可视化区域等级进行划分，如图3所示，飞行员视觉可视化区域进行仿真分析，在标准坐姿下划分区域等级，整体划分为四部分，目标越偏离视觉中心，飞行员对目标的视觉注意力分配越少，当目标完全处于A区域内，能引起飞行员视觉注意力的高度集中，当目标处于C区域时，飞行员能看到但是不能很好的进行观察，A区域是最佳视野区域，水平范围在30°左右，上下35°左右，为最佳视野区域，B区为良好区域，水平范围在70°左右，垂直35°，C区域为最大视野，是除A、B以外的区域；因此可视性等级划分为A区域>B区域>C区域，视野范围A区域>B区域>C区域，A区域内取值3，B区域内取值2，C区域内取值1。

对各功能区域进行编号，a～i为HUD界面主要功能目标区域，使目标大部分落在视野范围内，各个区域在视野范围中占据了一定的单元面积。

目标重要程度计算模块34，用于计算每个功能子区域对应的兴趣度值，判断所述不同作战任务下，所述目标的相对重要程度以及所述重要程度对应的权值。

具体的：每个功能子区域对应的兴趣度值，计算公式为：

其中，1≤j≤n，W_j是功能子区域重视程度，表示为：

其中，t_j表示第j个功能子区域内注视点的数量，为用户在所述HUD界面中注视点总数；

第j个功能子区域内信息量的权值表示为：

其中，H_j为信息熵，表示为：

其中，p_j为整个图像中某灰度出现的概率，L为整个灰度级类型总数，这里取256个灰度值，即L＝256。

兴趣度计算模块35，用于根据所述可视化区域等级划分和所述重要程度对应的权值计算兴趣度，进而得到所述HUD界面中界面适应度函数值最高的功能区域。

具体的：本发明在建立HUD界面视觉注意力划分模型和目标区域重要程度分析的基础上，以界面最终布局的视觉注意分配达到最优为目标函数，即适应度函数，适应度函数越大，说明飞行员注意力对越重要的目标模块分配得越多。根据所述可视化区域等级划分来计算适应度函数。

本发明所述的适应度函数结合了前文所述的兴趣度进行计算，更为直接，简洁，以及与HUD界面的结合更为紧密，界面适应度函数定义为：

其中，子区域在不同等级的视野范围内所占区域的视觉注意力等级为E＝{e_jk}，e_jk为功能子区域j在视野范围k中所占区域的视觉注意力等级，S_jk为功能子区域j在视野区域k中所占面积大小；目标在不同等级的视野范围内分别占据的面积大小为S＝{S_jk}，j＝1,2,...,n，n为功能子区域的总数；k＝1,2,...,m，m为可视化等级划分的个数，f_j为功能子区域对应的兴趣度权值。根据初始数据计算得出初始注意力分配强度Z₁，本发明中m＝3。

栅格化模块36，用于以HUD界面信息最小元素大小栅格化HUD界面，用以简化表示HUD各子区域的面积，从而简化界面适应度函数的计算；

调整模块37，用于突出显示界面适应度函数值最大的功子能区域，并自适应调整界面布局，实时计算界面适应函数值，并与上一次适应值相比较，经过多次迭代调整，选取适应值最大的界面布局作为最终输出界面。

具体的：与上一次适应值相比较，经过多次迭代调整，具体包括：

(1)按照长宽尺寸比例调整兴趣度最大的功能子区域，依次调整子区域大小，直到调整到兴趣度最小的功能区域；

(2)若兴趣值相等，则按原面积大小从大到小来确定调整顺序，调整后计算注意力分配强度值Z_i，并与前一次Z_i-1相比较；

(3)经过学习模式计算调整界面功能子区域大小，学习模式为：每次循环，区域面积按照界面栅格化时最小单元尺寸的比例逐渐增加，经过多次迭代计算调整界面功能子区域大小，并将达到尺寸限度之前Z值最大的子区域布局作为最终界面输出，其中，最大功能子区域尺寸不得超过HUD界面尺寸，最小功能子区域尺寸中最小信息单元尺寸不得小于国标最低尺寸：字符线宽应不低于0.7mr。

进一步包括，所述区域尺寸布局定位规则如下：

其中，W和H分别为HUD界面的宽和高；(x_p,y_p)和(x_q,y_q)分别代表第p个和第q个调整尺寸的功能区域中心点坐标，且p≠q，w_p与h_p第p个调整尺寸的功能子区域的宽和高，w_q和h_q为第q个调整尺寸的功能子区域的宽和高，式(1)和式(2)说明各功能区域需要完全布入HUD界面中，式(3)和式(4)说明不同的功能区域之间不能发生干涉现象。

本发明按照功能区域的兴趣值从大到小的顺序确定调整顺序，若兴趣值相等，则按原始面积大小从大到小来确定调整顺序，调整后计算注意力分配强度值Z_i，并与前一次Z_i-1相比较，经过学习模式：每次循环计算时，区域面积按照界面栅格化时最小单元尺寸的比例逐渐增加，经过多次迭代计算调整界面功能区域大小，将达到尺寸限度之前Z值最大的区域布局作为最终界面输出，储存于记忆储存装置4中，正式飞行阶段使用时直接调用

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于飞行任务的HUD界面优化布局自适应方法，其特征在于，包括：

学习阶段：

(1)根据功能将HUD界面整体划分为多个子区域，并以二维坐标形式表示HUD界面各个子区域的位置；

(2)分别采集不同作战任务下飞行员的眼动数据，根据所述眼动数据，得到飞行员对目标的视觉注意力分配的关系；

(3)根据飞行员视知觉基础研究，将HUD界面所在视野的区域进行等级划分，得到各子区域在视野等级中的所占面积，并对所述HUD界面中的各功能子区域进行编号；

(4)计算每个功能子区域对应的兴趣度值，判断所述不同作战任务下，所述目标的相对重要程度以及所述重要程度对应的权值；

(5)根据所述可视化区域等级划分和所述重要程度对应的权值计算兴趣度，进而得到所述HUD界面中界面适应度函数值最高的功能区域；

(6)以HUD界面信息最小元素大小栅格化HUD界面，用以简化表示HUD各子区域的面积，从而简化界面适应度函数的计算；

(7)突出显示界面适应度函数值最大的功子能区域，并自适应调整界面布局，实时计算界面适应函数值，并与上一次适应值相比较，经过多次迭代调整，选取适应值最大的界面布局作为最终输出界面；

正式飞行阶段：

调出使用HUD自适应界面库，所述HUD自适应界面库由记忆储存装置建立，所述记忆存储装置包括在学习阶段不同任务下适应后存储的所述HUD界面。

2.根据权利要求1所述的基于飞行任务的HUD界面优化布局自适应方法，其特征在于，所述步骤(1)中，界面整体被功能对象划分为多个子区域，并以表示HUD界面各个功能子区域的位置和兴趣度，表示为：功能子区域集合R＝(r₁,r₂,...,r_n)，功能对象为n个，即子区域有n个，每个界面子区域由r_j定义为其中，(x_j,y_j)表示子区域的中心点在界面中的坐标，表示功能子区域的兴趣度。

3.根据权利要求2所述的基于飞行任务的HUD界面优化布局自适应方法，其特征在于，所述步骤(4)中，每个功能子区域对应的兴趣度值，计算公式为：

其中，1≤j≤n，W_j是功能子区域重视程度，表示为：

其中，t_j表示第j个功能子区域内注视点的数量，为用户在所述HUD界面中注视点总数；

第j个功能子区域内信息量的权值表示为：

其中，H_j为信息熵，表示为：

其中，p_j为整个图像中某灰度出现的概率，L为整个灰度级类型总数。

4.根据权利要求1所述的基于飞行任务的HUD界面优化布局自适应方法，其特征在于，所述步骤(5)中，界面适应度函数定义为：

其中，子区域在不同等级的视野范围内所占区域的视觉注意力等级为E＝{e_jk}，e_jk为功能子区域j在视野范围k中所占区域的视觉注意力等级，S_jk为功能子区域j在视野区域k中所占面积大小；j＝1,2,...,n，n为功能子区域的总数；k＝1,2,...,m，m为可视化等级划分的个数，f_j为功能子区域对应的兴趣度权值。

5.根据权利要求4所述的基于飞行任务的HUD界面优化布局自适应方法，其特征在于，所述可视化等级划分为：在标准坐姿下，分为A区域、B区域、C区域，所述A区域为最佳视野区域，水平范围在30°左右，垂直范围35°左右；B区域为有效区域，水平范围在70°，垂直35°左右；C区域为除A、B以外的区域，且视野范围A区域>B区域>C区域，A区域内取值3，B区域内取值2，C区域内取值1。

6.根据权利要求1所述的基于飞行任务的HUD界面优化布局自适应方法，其特征在于，所述步骤(7)中，与上一次适应值相比较，经过多次迭代调整，具体包括：

(71)按照长宽尺寸比例调整兴趣度最大的功能子区域，依次调整子区域大小，直到调整到兴趣度最小的功能区域；

(72)若兴趣值相等，则按原面积大小从大到小来确定调整顺序，调整后计算注意力分配强度值Z_i，并与前一次Z_i-1相比较；

(73)经过学习模式计算调整界面功能子区域大小，学习模式为：每次循环，区域面积按照界面栅格化时最小单元尺寸的比例逐渐增加，经过多次迭代计算调整界面功能子区域大小，并将达到尺寸限度之前Z值最大的子区域布局作为最终界面输出，其中，最大功能子区域尺寸不得超过HUD界面尺寸，最小功能子区域尺寸中最小信息单元尺寸不得小于国标最低尺寸。

7.根据权利要求6所述的基于飞行任务的HUD界面优化布局自适应方法，其特征在于，所述区域尺寸布局定位规则如下：

其中，W和H分别为HUD界面的宽和高；(x_p,y_p)和(x_q,y_q)分别代表第p个和第q个调整尺寸的功能区域中心点坐标，且p≠q，w_p与h_p第p个调整尺寸的功能子区域的宽和高，w_q和h_q为第q个调整尺寸的功能子区域的宽和高。

8.一种根据权利要求1-7任一项所述的基于飞行任务的HUD界面优化布局自适应方法实现的系统，其特征在于，包括：眼动追踪仪、HUD界面、HUD界面调节装置以及界面储存装置，所述眼动追踪仪用于记录飞行过程中飞行员的眼动轨迹特征，所述HUD界面调节装置用于学习阶段调整HUD界面布局以及正式飞行阶段显示HUD界面，所述界面储存装置用于储存学习阶段不同飞行员在不同飞行任务下经过自适应调整后的界面布局，形成自适应界面布局库，在正式飞行期间直接调用所述界面储存装置的自适应界面布局库中的界面进行显示。

9.根据权利要求8所述的基于飞行任务的HUD界面优化布局自适应系统，其特征在于，所述HUD界面调节装置包括：

区域划分模块，用于根据功能将HUD界面整体划分为多个子区域，并以二维坐标形式表示HUD界面各个子区域的位置；

采集模块，用于采集不同作战任务下飞行员的眼动数据，根据所述眼动数据，得到飞行员对目标的视觉注意力分配的关系；

等级划分模块，用于根据飞行员视知觉基础研究，将HUD界面所在视野的区域进行等级划分，得到各子区域在视野等级中的所占面积，并对所述HUD界面中的各功能子区域进行编号；

目标重要程度计算模块，用于计算每个功能子区域对应的兴趣度值，判断所述不同作战任务下，所述目标的相对重要程度以及所述重要程度对应的权值；

兴趣度计算模块，用于根据所述可视化区域等级划分和所述重要程度对应的权值计算兴趣度，进而得到所述HUD界面中界面适应度函数值最高的功能区域；

栅格化模块，用于以HUD界面信息最小元素大小栅格化HUD界面，用以简化表示HUD各子区域的面积，从而简化界面适应度函数的计算；

调整模块，用于突出显示界面适应度函数值最大的功子能区域，并自适应调整界面布局，实时计算界面适应函数值，并与上一次适应值相比较，经过多次迭代调整，选取适应值最大的界面布局作为最终输出界面。

10.根据权利要求8所述的基于飞行任务的HUD界面优化布局自适应系统，其特征在于，所述兴趣度计算模块中，每个功能子区域对应的兴趣度值，计算公式为：

其中，1≤j≤n，W_j是功能子区域重视程度，表示为：

其中，t_j表示第j个功能子区域内注视点的数量，为用户在所述HUD界面中注视点总数；

第j个功能子区域内信息量的权值表示为：

其中，H_j为信息熵，表示为：

其中，p_j为整个图像中某灰度出现的概率，L为整个灰度级类型总数。