CN106814850B - 基于视线轨迹的模拟飞行操作测试系统及测试方法 - Google Patents

基于视线轨迹的模拟飞行操作测试系统及测试方法 Download PDF

Info

Publication number
CN106814850B
CN106814850B CN201611103235.9A CN201611103235A CN106814850B CN 106814850 B CN106814850 B CN 106814850B CN 201611103235 A CN201611103235 A CN 201611103235A CN 106814850 B CN106814850 B CN 106814850B
Authority
CN
China
Prior art keywords
pupil
sight line
image
pilot
line track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611103235.9A
Other languages
English (en)
Other versions
CN106814850A (zh
Inventor
尹晓雪
张捷
单瑚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CITIC Offshore Helicopter Co Ltd
Original Assignee
CITIC Offshore Helicopter Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CITIC Offshore Helicopter Co Ltd filed Critical CITIC Offshore Helicopter Co Ltd
Priority to CN201611103235.9A priority Critical patent/CN106814850B/zh
Publication of CN106814850A publication Critical patent/CN106814850A/zh
Application granted granted Critical
Publication of CN106814850B publication Critical patent/CN106814850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种基于视线轨迹的模拟飞行操作测试系统及方法。该方法包括：进入某一模拟飞行操作模式时，接收模拟飞行器的测试指令；根据测试指令调取与测试指令对应的第一视线轨迹，第一视线轨迹是预先设定好并存储在本地的；采集飞行员的第二瞳孔图像，并根据第二瞳孔图像确定飞行员的第二视线轨迹；对比第一视线轨迹和第二视线轨迹的偏差率以考核飞行员的操作情况。本发明通过视线轨迹的对比，即将合格的飞行员在某一驾驶模式或者场景下的视线轨迹通过大数据分析的方式形成标准化的视线轨迹范围，与被测试的飞行员的视线轨迹进行比对，将重合度作为考核飞行学员的指标之一。

Description

基于视线轨迹的模拟飞行操作测试系统及测试方法
技术领域
本发明属于眼球追踪技术领域，具体涉及一种基于视线轨迹的模拟飞行操作测试系统及测试方法。
背景技术
2009年12月在南京市成功举办了首届全国模拟飞行锦标赛，有32只代表队213名运动员争夺30块金牌。模拟飞行作为一项新兴的以航空知识和飞行技艺为核心的运动项目，在中国乃至世界已拥有越来越广泛的活动人群，因此在国内外均有相关的模拟飞行组织。
然后，模拟飞行最大的价值在于可以为飞行员在实际驾驶飞行器前提供模拟训练，避免实际飞行过程中带来的不必要的危险。飞行模拟器或飞行模拟机，又称为模拟驾驶舱，是一种尽可能真实地再现或模拟航空器驾驶感觉的系统。目前，飞行模拟器已广泛地运用于由航空工业设计和研发，以及为民用和军用飞机做飞行员与机组成员培训。
然后，对于飞行员来说，还没有一套很成熟的测试系统和方法来辅助其进行模拟训练和评估。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于视线轨迹的模拟飞行操作测试系统及测试方法。
本发明的一个实施例提供了一种基于视线轨迹的模拟飞行操作测试系统，包括：模拟飞行器和测试设备，所述测试设备包括通信模块、处理模块及采集模块，所述处理模块中存储有对于不同飞行操作模式下的第一视线轨迹，所述测试设备佩戴于飞行员的头部位置处以用于通过所述采集设备采集所述飞行员的瞳孔图像；其中，
所述模拟飞行器启动某一模拟飞行操作模式时，向所述测试设备发送测试指令，所述测试设备通过所述通信模块接收所述测试指令并转发至所述处理模块，所述处理模块根据所述测试指令调取对应的所述第一视线轨迹并控制所述采集模块采集当前所述飞行员的第二瞳孔图像，根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹，对比所述第一视线轨迹与所述第二视线轨迹以考核所述飞行员的操作情况。
在本发明的一个实施例中，根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹，包括：
所述处理模块根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置；
所述处理模块根据预设的映射函数确定所述第二瞳孔对应在指定平面上的第二观测点位置；
所述处理模块将在所述某一模拟飞行操作模式的过程中所有所述第二观测点按照时间顺序进行拟合形成所述第二视线轨迹。
在本发明的一个实施例中，所述映射函数(X,Y)＝F(x,y)为：
Figure BDA0001170097940000021
其中，(X,Y)为观测点在所述指定平面中的坐标位置，(x,y)为瞳孔中心点在自有坐标系中的坐标位置，a、b、c、d、e、f、g、h、k、l、m及n为模型参数。
在本发明的一个实施例中，所述第一视线轨迹的形成，包括步骤：
在某一模拟飞行操作模式下，所述采集模块采集规范飞行的操作者的第一瞳孔图像；
所述处理模块根据所述第一瞳孔图像确定所述第一瞳孔图像的瞳孔边缘位置以确定所述第一瞳孔的中心点位置；
所述处理模块根据预设的映射函数确定所述第一瞳孔的中心点位置对应在指定平面上的第一观测点位置；
所述处理模块将在所述某一模拟飞行操作模式的过程中所有所述第一观测点按照时间顺序进行拟合形成所述第一视线轨迹。
在本发明的一个实施例中，所述映射函数(X,Y)＝F(x,y)为：
Figure BDA0001170097940000031
其中，(X,Y)为观测点在所述指定表面的坐标位置，(x,y)为瞳孔中心点在自有坐标系中的坐标位置，a、b、c、d、e、f、g、h、k、l、m及n为模型参数。
在本发明的一个实施例中，所述映射函数(X,Y)＝F(x,y)中的所述模型参数的确定步骤为：
所述模拟飞行器的屏幕上依次显示K个观测点(X,Y)以引导所述飞行员或者所述操作者注视所述K个观测点；所述屏幕所在的平面为所述指定平面；
所述采集模块采集所述飞行员或者所述操作者在观看所述K个观测点时的瞳孔图像，并由所述处理模块获得瞳孔中心点(x,y)；
所述处理器根据所述K个观测点(X,Y)和对应的所述瞳孔中心点(x,y)计算所述模型参数。
本发明的另一个实施例提供了一种基于视线轨迹的模拟飞行操作测试方法，包括：
进入某一模拟飞行操作模式时，接收模拟飞行器的测试指令；
根据所述测试指令调取与所述测试指令对应的第一视线轨迹，所述第一视线轨迹是预先设定好并存储在本地的；
采集飞行员的第二瞳孔图像，并根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹；
对比所述第一视线轨迹和所述第二视线轨迹的偏差率以考核所述飞行员的操作情况。
在本发明的一个实施例中，根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹，包括：
根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置；
根据预设的映射函数确定所述第二瞳孔对应在指定平面上的第二观测点位置；
将在所述某一模拟飞行操作模式下的所有所述第二观测点按照时间顺序进行拟合形成所述第二视线轨迹。
在本发明的一个实施例中，根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置，包括：
对所述第二瞳孔图像进行灰度化处理形成第二灰度图像；
估算所述第二瞳孔的中心点位置形成初始中心点；
以所述初始中心点为中心沿指定射线方向在所述第二灰度图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为所述第二瞳孔的边缘位置点；
对多个所述瞳孔边缘位置点进行拟合处理形成类椭圆曲线，以所述类椭圆曲线的中心作为所述第二瞳孔的中心点位置。
在本发明的一个实施例中，所述映射函数(X,Y)＝F(x,y)为：
Figure BDA0001170097940000041
其中，(X,Y)为观测点在所述指定平面的坐标位置，(x,y)为瞳孔中心点在自有坐标系中的坐标位置，a、b、c、d、e、f、g、h、k、l、m及n为模型参数。
本发明实施例，通过视线轨迹的对比，即将合格的飞行员在某一驾驶模式或者场景下的视线轨迹通过大数据分析的方式形成标准化的视线轨迹范围，与被测试的飞行学员的视线轨迹进行比对，将重合度作为考核飞行学员的指标之一，该方式可以有效地对飞行学员进行测试，能够辅助模拟飞行的测试，提高测试效果。
附图说明
图1为本发明实施例提供的一种基于视线轨迹的模拟飞行操作测试系统的结构示意图；
图2为本发明实施例提供的一种模拟飞行器的外形结构示意图；
图3为本发明实施例提供的一种测试设备的外形结构示意图；
图4为本发明实施例提供的另一种测试设备的电路结构示意图；
图5为本发明实施例提供的一种视线轨迹对比的示意图；以及
图6为本发明实施例提供的一种基于视线轨迹的模拟飞行操作测试方法的示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1及图2，图1为本发明实施例提供的一种基于视线轨迹的模拟飞行操作测试系统的结构示意图，图2为本发明实施例提供的一种模拟飞行器的外形结构示意图。该系统10包括模拟飞行器11和测试设备13，其中，该模拟飞行器11与测试设备13通信连接以传输测试指令和对比数据。
请参见图3，图3为本发明实施例提供的一种测试设备的外形结构示意图，测试设备13的形状可以设置为类似于眼镜的形状，包括镜框131和镜腿133，且在镜框131的内侧缘位置设置采集模块，该采集模块可以为多个瞳孔图像采集器135，且多个瞳孔图像采集器135优选均匀设置于内侧缘位置，当然也可以根据实际设计要求，主要分布在上侧或者下侧，或者为了节省成本也可以设置一个瞳孔图像采集器135，此处不做任何限制。
另外，瞳孔图像采集器优选为包括至少一个红外灯源的图像采集器。因为瞳孔内、外对红外线的反射有很明显的差异，拍摄的图像在瞳孔区域光线较强，亮度高；在非瞳孔区则图像较暗，亮度低，因此采用包括红外光源的图像采集器可以更好地拍摄到瞳孔的图像。
请参见图4，图4为本发明实施例提供的另一种测试设备的电路结构示意图。该测试设备13的电路组成可以包括：通信模块、处理器及采集模块。其中，通信模块、采集模块均电连接至处理器。通信模块优选采用WIFI模块，采集模块可以为包括至少一个红外灯源的摄像器。
具体的工作原理如下：
1、第一视线轨迹形成阶段：在某一模拟飞行操作模式下，所述采集模块采集规范飞行的操作者的第一瞳孔图像；所述处理模块根据所述第一瞳孔图像确定所述第一瞳孔图像的瞳孔边缘位置以确定所述第一瞳孔的中心点位置；所述处理模块根据预设的映射函数确定所述第一瞳孔的中心点位置对应在指定平面上的第一观测点位置；所述处理模块将在所述某一模拟飞行操作模式的过程中所有所述第一观测点按照时间顺序进行拟合形成所述第一视线轨迹。
请参见图5，图5为本发明实施例提供的一种视线轨迹对比的示意图。通过大数据的分析思路，采集多个合格的飞行员在某一种驾驶模式或者场景下的视线轨迹形成视线轨迹区域，以供后期飞行学员在测试阶段的参考数据。需要说明的是，由于飞行员的身高、坐姿及操作过程中个性化的视线方向等偏离因素，会影响视线轨迹的对比，因此需要通过大数据分析的方式，以大量视线轨迹形成的区域作为标准，消除这些偏离因素的影响，具备鲁棒性。优选采集100个以上的样本。
2、测试阶段，启动某一模拟飞行操作模式时，向所述测试设备发送测试指令，所述测试设备通过所述通信模块接收所述测试指令并转发至所述处理模块，所述处理模块根据所述测试指令调取对应的所述第一视线轨迹并控制所述采集模块采集当前所述飞行员的第二瞳孔图像，根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹，对比所述第一视线轨迹与所述第二视线轨迹以考核所述飞行员的操作情况。
即在有参考视线轨迹后，飞行学员进入模拟飞行器，佩戴测试设备，做好准备工作后，由语音提示开始操作启动测试，此时，测试设备会接收到模拟飞行器的测试指令，启动模拟操作。对应地，处理模块调用对应模式下的图像采集时间点，由采集模块根据处理模块规定的时间对瞳孔图像进行采集，并将采集后的瞳孔图像发送至处理模块，由处理模块进行处理形成该飞行学员的视线轨迹，将该视线轨迹与预先存储的参考视线轨迹区域进行比对以确定该飞行学员的模拟操作成绩。
具体地，所述处理模块根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置；所述处理模块根据预设的映射函数确定所述第二瞳孔对应在指定平面上的第二观测点位置；所述处理模块将在所述某一模拟飞行操作模式的过程中所有所述第二观测点按照时间顺序进行拟合形成所述第二视线轨迹。
其中，所述映射函数(X,Y)＝F(x,y)为：
Figure BDA0001170097940000071
其中，(X,Y)为观测点在所述指定平面中的坐标位置，(x,y)为瞳孔中心点在自有坐标系中的坐标位置，a、b、c、d、e、f、g、h、k、l、m及n为模型参数。
对于模型参数的计算方式如下：
所述模拟飞行器的屏幕上依次显示K个观测点(X,Y)以引导所述飞行员或者所述操作者注视所述K个观测点；所述屏幕所在的平面为所述指定平面；
所述采集模块采集所述飞行员或者所述操作者在观看所述K个观测点时的瞳孔图像，并由所述处理模块获得瞳孔中心点(x,y)；
所述处理器根据所述K个观测点(X,Y)和对应的所述瞳孔中心点(x,y)计算所述模型参数。
例如，屏幕中依次出现的K个点的坐标记录为X＝(X1,X2,X3…Xk),Y＝(Y1,Y2,Y3…Yk)，对应的瞳孔中心坐标为x＝(x1,x2,x3…xk),y＝(y1,y2,y3…yk)，模型的建立则可以用下面的矩阵表达：
Figure BDA0001170097940000081
将该模型使用矩阵形式表达为：
Figure BDA0001170097940000082
则
Figure BDA0001170097940000083
在本模型中，取K＝6时，X，Y对应有6个屏幕坐标，瞳孔相应也有6个对应中心坐标，X＝|X1,X2,X3,X4,X5,X6|，Y＝|Y1,Y2,Y3,Y4,Y5,Y6|，同理，x＝|x1,x2,x3,x4,x5,x6|，y＝|y1,y2,y3,y4,y5,y6|，那么上面的矩阵可以进一步改写为：
Figure BDA0001170097940000091
通过方程组求出a、b、c、d、e、f、g、h、k、l、m及n，进而得到所述映射模型。
本实施例，通过对飞行员在模拟操作过程中的视线轨迹与预先存储的标准视线轨迹区域在时间轴上进行对比，以作为飞行员针对此次训练的测试结果，对飞行员的驾驶和特情处置能力的辅助考核指标之一，该方法可以提高模拟飞行操作的精确度。
实施例二
请参见图6，图6为本发明实施例提供的一种基于视线轨迹的模拟飞行操作测试方法的示意图。该方法可以包括如下步骤：
步骤1、进入某一模拟飞行操作模式时，接收模拟飞行器的测试指令；
步骤2、根据所述测试指令调取与所述测试指令对应的第一视线轨迹，所述第一视线轨迹是预先设定好并存储在本地的；
步骤3、采集飞行员的第二瞳孔图像，并根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹；
步骤4、对比所述第一视线轨迹和所述第二视线轨迹的偏差率以考核所述飞行员的操作情况。
其中，步骤2可以包括：
步骤21、根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置；
步骤22、根据预设的映射函数确定所述第二瞳孔对应在指定平面上的第二观测点位置；
步骤23、将在所述某一模拟飞行操作模式下的所有所述第二观测点按照时间顺序进行拟合形成所述第二视线轨迹。
其中，步骤21可以包括如下步骤：
步骤211、对所述第二瞳孔图像进行灰度化处理形成第二灰度图像；
步骤212、估算所述第二瞳孔的中心点位置形成初始中心点；
步骤213、以所述初始中心点为中心沿指定射线方向在所述第二灰度图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为所述第二瞳孔的边缘位置点；
步骤214、对多个所述瞳孔边缘位置点进行拟合处理形成类椭圆曲线，以所述类椭圆曲线的中心作为所述第二瞳孔的中心点位置。
其中，步骤211中，采用增强算子作用在第二瞳孔图像的每个像素以使图像亮度增强进而实现灰度对比度的增大，之后对所述红外图像采用拉普拉斯法进行图像滤波处理；
其中，所述增强算子的公式为：En＝c*lg(1+double(f0))；其中，En为增强算子，f0为原函数灰度值，c是常系数。其中，c的具体取值可根据实际情况设置，本发明在此不做限制。
步骤212中，采用灰度积分法在所述修正红外图像上估算瞳孔中心位置的坐标(xmin，ymin)；其中，xmin和ymin的公式为：
Figure BDA0001170097940000101
Figure BDA0001170097940000102
其中，min表示取最小值运算，sum表示求和运算，f(i,j)表示在坐标(x，y)处图像的灰度值。
因为瞳孔中心位置处最暗，通过上述求最小值的方法，可以估算出瞳孔中心的粗略位置。
在步骤213中，由于瞳孔内、外对红外线的反射有很明显的差异。瞳孔区域灰度明显低于其他区域，在边缘位置处，梯度变化剧烈。过处理后的图像信息中，在指定的方向上，瞳孔区的灰度值与非瞳孔区的灰度值在交界处有剧烈的变化，在交界处的梯度值也会达到最大，据此判断出瞳孔边缘点的位置。
例如，设f(i,j)为图像f在坐标(i,j)处的灰度值，灰度值的偏微分为：
Figure BDA0001170097940000111
则该方向的灰度梯度
Figure BDA0001170097940000112
D最大的点即为边缘点。
另外，步骤214可以包括：
步骤a、从N个所述特征点中选取任意5个点，使用最小二乘法进行椭圆拟合形成第一类椭圆方程；
步骤b、对N个所述特征点利用随机采样一致性算法通过所述第一类椭圆方程进行局内点和局外点甄别，统计得到M个局内点和N-M个局外点；
在本实施例中，落在所述类椭圆上的点，视为局内点。当然，本发明不在此处做限制。
步骤c、判断局内点占有率
Figure BDA0001170097940000113
是否小于第一阈值t1；若是，则确定所述5个点为非典型特征点，拟合椭圆为非典型特征椭圆，则重新执行步骤a；若否，则确定所述5个点为典型特征点，则执行步骤d；
步骤d、根据所述M个局内点任意选取5个点，利用最小二乘法对所述第一类椭圆方程进行优化形成第二类椭圆方程，并对所述N个特征点利用随机采样一致性算法通过所述第二类椭圆方程进行局内点和局外点甄别，最终统计得到M1个局内点和N-M1局外点；
步骤e、判断局内点占有率
Figure BDA0001170097940000121
是否大于第二阈值t2；如是，则终止迭代，认为所述第二类椭圆方程为最优方程；若否，则执行步骤d。
本实施例，通过飞行员的瞳孔中心点的坐标和预设的映射模型确定在指定平面的观测点坐标，将观测点坐标按照时间进行拟合形成视线轨迹，与预设的视线轨迹进行比对，从而完成对飞行员本次模拟过程中的考核，提高了训练效果。
进一步地，对于第一视线轨迹的确定类似于本实施例中对于第二视线轨迹的确定方式，此处不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于视线轨迹的模拟飞行操作测试系统，其特征在于，包括：模拟飞行器和测试设备，所述测试设备包括通信模块、处理模块及采集模块，所述处理模块中存储有对于不同飞行操作模式下的第一视线轨迹，所述测试设备佩戴于飞行员的头部位置处以用于通过所述采集模块采集所述飞行员在观看K个观测点时的瞳孔图像；其中，
所述模拟飞行器启动某一模拟飞行操作模式时，向所述测试设备发送测试指令，所述测试设备通过所述通信模块接收所述测试指令并转发至所述处理模块，所述处理模块根据所述测试指令调取对应的所述第一视线轨迹并控制所述采集模块采集当前所述飞行员的第二瞳孔图像，根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹，对比所述第一视线轨迹与所述第二视线轨迹以考核所述飞行员的操作情况；其中，根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹，包括：
所述处理模块根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置；具体包括：
采用增强算子作用在第二瞳孔图像的每个像素以使图像亮度增强进而实现灰度对比度的增大，处理形成第二灰度图像；其中，所述增强算子的公式为：En＝c*lg(1+double(f0))；En为增强算子，f0为原函数灰度值，c是常系数；采用灰度积分法在所述第二灰度图像上，估算瞳孔中心位置的坐标(xmin，ymin)以作为初始中心点；其中，xmin和ymin的公式为：
Figure FDA0002375520240000011
Figure FDA0002375520240000012
其中，min表示取最小值运算，sum表示求和运算，f(i,j)表示在坐标(x，y)处图像的灰度值；以所述初始中心点为中心，沿指定射线方向在所述第二灰度图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为所述第二瞳孔的边缘位置点；具体为设f(i,j)为图像f在坐标(i,j)处的灰度值，灰度值的偏微分为：
Figure FDA0002375520240000021
则该方向的灰度梯度
Figure FDA0002375520240000022
D最大的点即为边缘点；
所述处理模块根据预设的映射函数确定所述第二瞳孔对应在指定平面上的第二观测点位置；
所述处理模块将在所述某一模拟飞行操作模式的过程中所有所述第二观测点按照时间顺序进行拟合形成所述第二视线轨迹。
2.根据权利要求1所述的系统，其特征在于，所述映射函数(X,Y)＝F(x,y)为：
Figure FDA0002375520240000023
其中，(X,Y)为观测点在所述指定平面中的坐标位置，(x,y)为瞳孔中心点在自有坐标系中的坐标位置，a、b、c、d、e、f、g、h、k、l、m及n为模型参数。
3.根据权利要求1所述的系统，其特征在于，所述第一视线轨迹的形成，包括步骤：
在某一模拟飞行操作模式下，所述采集模块采集规范飞行的操作者的第一瞳孔图像；
所述处理模块根据所述第一瞳孔图像确定所述第一瞳孔图像的瞳孔边缘位置以确定所述第一瞳孔的中心点位置；
所述处理模块根据预设的映射函数确定所述第一瞳孔的中心点位置对应在指定平面上的第一观测点位置；
所述处理模块将在所述某一模拟飞行操作模式的过程中所有所述第一观测点按照时间顺序进行拟合形成所述第一视线轨迹。
4.根据权利要求3所述的系统，其特征在于，所述映射函数(X,Y)＝F(x,y)为：
Figure FDA0002375520240000031
其中，(X,Y)为观测点在所述指定平面的坐标位置，(x,y)为瞳孔中心点在自有坐标系中的坐标位置，a、b、c、d、e、f、g、h、k、l、m及n为模型参数。
5.根据权利要求4所述的系统，其特征在于，所述映射函数(X,Y)＝F(x,y)中的所述模型参数的确定步骤为：
所述模拟飞行器的屏幕上依次显示K个观测点(X,Y)以引导所述飞行员或者所述操作者注视所述K个观测点；所述屏幕所在的平面为所述指定平面；
所述采集模块采集所述飞行员或者操作者在观看所述K个观测点时的瞳孔图像，并由所述处理模块获得瞳孔中心点(x,y)；
所述处理模块根据所述K个观测点(X,Y)和对应的所述瞳孔中心点(x,y)计算所述模型参数。
6.一种基于视线轨迹的模拟飞行操作测试方法，其特征在于，包括：
进入某一模拟飞行操作模式时，接收模拟飞行器的测试指令；
根据所述测试指令调取与所述测试指令对应的第一视线轨迹，所述第一视线轨迹是预先设定好并存储在本地的；
采集飞行员在观看K个观测点时的第二瞳孔图像，并根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹；其中，根据所述第二瞳孔图像确定所述飞行员的第二视线轨迹，包括：根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置；具体包括：采用增强算子作用在第二瞳孔图像的每个像素以使图像亮度增强进而实现灰度对比度的增大，处理形成第二灰度图像；其中，所述增强算子的公式为：En＝c*lg(1+double(f0))；En为增强算子，f0为原函数灰度值，c是常系数；采用灰度积分法在所述第二灰度图像上，估算瞳孔中心位置的坐标(xmin，ymin)以作为初始中心点；其中，xmin和ymin的公式为：
Figure FDA0002375520240000041
Figure FDA0002375520240000042
其中，min表示取最小值运算，sum表示求和运算，f(i,j)表示在坐标(x，y)处图像的灰度值；以所述初始中心点为中心，沿指定射线方向在所述第二灰度图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为所述第二瞳孔的边缘位置点；具体为设f(i,j)为图像f在坐标(i,j)处的灰度值，灰度值的偏微分为：
Figure FDA0002375520240000043
则该方向的灰度梯度
Figure FDA0002375520240000044
D最大的点即为边缘点；
根据预设的映射函数确定所述第二瞳孔对应在指定平面上的第二观测点位置；将在所述某一模拟飞行操作模式下的所有所述第二观测点按照时间顺序进行拟合形成所述第二视线轨迹；
对比所述第一视线轨迹和所述第二视线轨迹的偏差率以考核所述飞行员的操作情况。
7.根据权利要求6所述的方法，其特征在于，根据所述第二瞳孔图像确定第二瞳孔的边缘位置以确定所述第二瞳孔的中心点位置，包括：
对所述第二瞳孔图像进行灰度化处理形成第二灰度图像；
估算所述第二瞳孔的中心点位置形成初始中心点；
以所述初始中心点为中心沿指定射线方向在所述第二灰度图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为所述第二瞳孔的边缘位置点；
对多个所述瞳孔边缘位置点进行拟合处理形成类椭圆曲线，以所述类椭圆曲线的中心作为所述第二瞳孔的中心点位置。
8.根据权利要求6所述的方法，其特征在于，所述映射函数(X,Y)＝F(x,y)为：
Figure FDA0002375520240000051
其中，(X,Y)为观测点在所述指定平面的坐标位置，(x,y)为瞳孔中心点在自有坐标系中的坐标位置，a、b、c、d、e、f、g、h、k、l、m及n为模型参数。
CN201611103235.9A 2016-12-03 2016-12-03 基于视线轨迹的模拟飞行操作测试系统及测试方法 Active CN106814850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611103235.9A CN106814850B (zh) 2016-12-03 2016-12-03 基于视线轨迹的模拟飞行操作测试系统及测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611103235.9A CN106814850B (zh) 2016-12-03 2016-12-03 基于视线轨迹的模拟飞行操作测试系统及测试方法

Publications (2)

Publication Number Publication Date
CN106814850A CN106814850A (zh) 2017-06-09
CN106814850B true CN106814850B (zh) 2020-08-07

Family

ID=59106000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611103235.9A Active CN106814850B (zh) 2016-12-03 2016-12-03 基于视线轨迹的模拟飞行操作测试系统及测试方法

Country Status (1)

Country Link
CN (1) CN106814850B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992093B (zh) * 2018-01-15 2020-09-08 苏州大学 应用于测试直升机天线的指令模拟器
CN110955592A (zh) * 2019-10-21 2020-04-03 北京航空航天大学 一种飞行训练模拟器软件的测试方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
CN105955465A (zh) * 2016-04-25 2016-09-21 华南师范大学 一种桌面便携式视线跟踪方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611801A (zh) * 2012-03-30 2012-07-25 深圳市金立通信设备有限公司 一种基于眼球运动轨迹控制手机交互的系统和方法
CN104808685A (zh) * 2015-04-27 2015-07-29 中国科学院长春光学精密机械与物理研究所 用于无人机自主降落的视觉辅助装置及视觉辅助方法
CN105654808A (zh) * 2016-02-03 2016-06-08 北京易驾佳信息科技有限公司 一种基于实际机动车的机动车驾驶人智能化训练系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
CN105955465A (zh) * 2016-04-25 2016-09-21 华南师范大学 一种桌面便携式视线跟踪方法及装置

Also Published As

Publication number Publication date
CN106814850A (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
CN105182994B (zh) 一种无人机定点降落的方法
CN106814849B (zh) 基于眼球追踪的模拟飞行操作测试辅助系统及方法
CN113421346B (zh) 一种增强驾驶感的ar-hud抬头显示界面的设计方法
CN102053563A (zh) 模拟机飞行训练数据采集及质量评估系统
CN107128492A (zh) 一种基于人头检测的无人机跟踪方法、装置及无人机
CN110648405B (zh) 一种基于增强现实的飞行操作辅助方法和系统
CN106060142A (zh) 一种能够检查视力的手机及使用其进行视力检查的方法
CN106814850B (zh) 基于视线轨迹的模拟飞行操作测试系统及测试方法
CN112735221A (zh) 一种模拟飞行训练教学系统
CN110517261A (zh) 安全带状态检测方法、装置、计算机设备和存储介质
CN111768361B (zh) 地下空间品质评价及其可视化呈现方法及系统
CN106204564A (zh) 一种激光光心提取方法
CN112461846B (zh) 工件缺陷检测方法及装置
CN110598635B (zh) 一种针对连续视频帧中的人脸检测与瞳孔定位方法及系统
CN116052264A (zh) 一种基于非线性偏差校准的视线估计方法及装置
CN112906523B (zh) 一种硬件加速的深度学习目标机型识别方法
CN113467502A (zh) 一种无人机驾驶考试系统
CN109326171A (zh) 模拟器视景显示延迟测试系统
CN112684884A (zh) 一种飞行训练动作自动识别与评估系统
CN115188316A (zh) 一种无人机校正led显示屏亮暗线系统、装置及其方法
RU2620279C2 (ru) Способ обучения летчиков по управлению летательным аппаратом в процессе захода на посадку
Hubenova et al. Usage of eye tracker technology in examining attention distribution of operators of unmanned aerial vehicles
CN118429218B (zh) 一种飞行测试系统
CN108537248B (zh) 一种腔镜视野定位评分方法
US20220270507A1 (en) Pilot education system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20200720

Address after: No. 188, Jiefang West Road, Guiyuan street, Luohu District, Shenzhen City, Guangdong Province

Applicant after: Zhongxin Ocean Helicopter Co.,Ltd.

Address before: 710071 Shaanxi city of Xi'an province high tech Zone Road No. 86 leading Times Square (B) second building 1 unit 22 floor room 12202 No. 51

Applicant before: Xi'an Cresun Innovation Technology Co.,Ltd.

TA01 Transfer of patent application right