CN111290575A - 一种防空反导武器的多通道交互控制系统 - Google Patents

一种防空反导武器的多通道交互控制系统 Download PDF

Info

Publication number
CN111290575A
CN111290575A CN202010070514.XA CN202010070514A CN111290575A CN 111290575 A CN111290575 A CN 111290575A CN 202010070514 A CN202010070514 A CN 202010070514A CN 111290575 A CN111290575 A CN 111290575A
Authority
CN
China
Prior art keywords
eye movement
eye
human body
pupil
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010070514.XA
Other languages
English (en)
Inventor
王崴
蔡睿
瞿珏
刘海平
高鹏
胡波
陈龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Engineering University of PLA
Original Assignee
Air Force Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Engineering University of PLA filed Critical Air Force Engineering University of PLA
Priority to CN202010070514.XA priority Critical patent/CN111290575A/zh
Publication of CN111290575A publication Critical patent/CN111290575A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种防空反导武器的多通道交互控制系统，包括：眼动交互控制模块和手势交互控制模块；眼动交互控制模块：基于眼球的生理模型，通过眼动追踪仪获取眼睛对应的图像学参数，利用眼动记录和眼动控制得到实时注视点位置；手势交互控制模块：利用骨骼跟踪法进行手势识别、通过人体坐标映射实现计算机屏幕上光标的位置显示和跟踪，通过特定的映射关系将用户的手势与计算机的鼠标操作指令进行匹配对应，使手势代替鼠标实现操作控制。本发明能够减少由于相同设备的长时间单通道控制而导致的工作负载，精神压力和疲劳；从而不仅提高了作战效率，也保证了交互过程的自然性和可靠性。

Description

一种防空反导武器的多通道交互控制系统
技术领域
本发明属于人机工程学技术领域，具体涉及一种防空反导武器的多通道交互控制系统。
背景技术
现代武器作战系统中，信息的采集、处理和利用，以及指挥决策的制定、实施，都是由指挥人员和计算机共同完成。人机交互的效率，直接影响指挥决策的能力和效率，进而影响战争局势。
目前的防空反导武器系统一般都采用传统的轨迹球触摸或者鼠标按键点击操作的交互方式，这种交互方式的流程是：操作员首先通过视觉搜索找到目标项，然后再将轨迹指示光标或鼠标光标移动至目标项位置，最后再执行确认或点击操作动作。整个流程中交互输出信息几乎完全由视觉通道感知，交互输入均由手动完成，感官通道利用极不平衡，易造成操作流程的紊乱，导致生理上的疲劳及精神压力，从而严重影响指挥决策效率，制约指挥人员主观能动性发挥。
发明内容
为了解决上述问题，本发明的目的是提出一种防空反导武器的多通道交互控制系统，能够基于眼动追踪的交互方式，同时配合手势和语音控制可以为操作者提供更多的选择控制，减少由于相同设备的长时间单通道控制而导致的工作负载，精神压力和疲劳；从而不仅提高了作战效率，也保证了交互过程的自然性和可靠性。
为了达到上述目的，本发明采用以下技术方案予以解决。
一种防空反导武器的多通道交互控制系统，包括：眼动交互控制模块和手势交互控制模块；
所述眼动交互控制模块：基于眼球的生理模型，通过眼动追踪仪获取眼睛对应的图像学参数，利用眼动记录和眼动控制得到实时注视点位置；
所述手势交互控制模块：利用骨骼跟踪法进行手势识别、通过人体坐标映射实现计算机屏幕上光标的位置显示和跟踪，通过特定的映射关系将用户的手势与计算机的鼠标操作指令进行匹配对应；从而根据手势触发计算机进行相应操作，使手势代替鼠标实现操作控制。
进一步地，所述眼动记录包括以下步骤：
(a)利用高速摄像机和红外光源对瞳孔中心和角膜曲率中心进行定位；
(b)提取瞳孔中心坐标和角膜曲率中心坐标，通过坐标转换，计算出瞳孔角膜方向向量，进而得到注视矢量；
(c)利用九点校正，确定瞳孔角膜矢量和屏幕注视位置的映射关系，得到注视点坐标。
更进一步地，所述利用高速摄像机和红外光源对瞳孔中心和角膜曲率中心进行定位，具体为：
首先，将两个红外光源设置于系统左右两侧，高速摄像机位于中间位置；
其次，根据人眼角膜对红外光反射率较大的特点，当眼睛注视不同方向时，从不同角度进入眼睛的光线刺激瞳孔，使瞳孔中心向着注视方向运动，而角膜表面反射光斑的位置固定不变，从而得到瞳孔中心和角膜曲率中心的位置。
进一步地，所述眼动控制包括以下步骤：
(a)采集用户在人机交互过程中的眼动特征数据；
其中，所述眼动特征数据为用户眼睛的有效注视点的X坐标和Y坐标、注视时间、眼跳幅度、瞳孔直径；所述有效注视点为将眼动追踪器输出的连续30个注视点取平均值作为一个有效注视点；
(b)对所述眼动特征数据进行归一化处理，得到标准化眼动特征数据，选取连续多个有效注视点的标准化眼动特征数据，作为眼动特征参数；
(c)将眼动特征参数划分为训练集和测试集，构建SVM分类器；采用眼动特征参数训练集中的样本对SVM分类器进行训练，得到优化后的SVM分类器；
(d)采用优化后的SVM分类器对眼动特征参数测试集进行分类，输出对应的操作意图类别，完成眼动交互控制。
进一步地，所述采用眼动特征参数训练集中的样本对操作意图SVM分类器进行训练，具体为：通过训练操作意图SVM分类器，提取用户每个操作意图下的眼动特征参数，得到用户操作意图与眼动特征参数之间的匹配规则。
进一步地，所述采用优化后的操作意图SVM分类器对眼动特征参数测试集进行分类为：根据所述用户操作意图与眼动特征参数之间的匹配规则，确定测试集中眼动特征参数对应的操作意图；具体为：
首先，使用有效注视点的X坐标和Y坐标对空间特性进行约束；
其次，利用注视时间是否在注视停留时间阈值对时间特性进行约束；
最后，利用眼跳幅度和瞳孔直径作为辅助决策约束条件；
当用户的注视点在阈值时间内持续集中于固定的空间阈值区域范围内，并且瞳孔直径和眼跳幅度分别处于对应的阈值之内时，则确定对应的操作意图类别。
进一步地，所述利用骨骼跟踪法进行手势识别，具体为：
首先，将骨骼跟踪坐标转换为人体坐标系：以肩部中心为原点A；以肩部中心、左髋部关节点B、右髋部关节点C确定的空间平面为人体空间坐标系X-Y轴平面；该平面水平方向向右为人体坐标系的X轴；该平面竖直方向向上为人体坐标系的Y轴；以AB×AC得到的法向量方向为人体坐标系的Z轴；点O是手V在人体坐标系中对应的映射坐标；
则人体平面的法向量为：
Figure BDA0002377185160000041
手V到人体平面的距离为：
Figure BDA0002377185160000042
手V映射到人体坐标系的坐标为：
Figure BDA0002377185160000043
通过以上转换公式，完成由骨骼跟踪坐标转换为人体坐标系坐标；
其中，|·|为取模操作；AB、AC、AV、AO分别表示对应向量；
然后，将人体坐标系坐标映射到屏幕坐标系中，完成人体手势与屏幕点的映射转化，即完成手势识别；具体为：
根据选中左手或者右手以确定映射坐标，具体映射公式为：
Figure BDA0002377185160000044
Figure BDA0002377185160000045
其中，(Xt，Yt)为人体坐标系原点映射到屏幕坐标系中的坐标；S(x，y)为人体坐标系中的坐标点；S′(x′，y′)是计算机屏幕坐标系中的对应坐标点。
进一步地，还包括语音交互控制模块，采用Microsoft Speech SDK的Speech API进行语音识别，进行辅助交互控制。
与现有技术相比，本发明的有益效果为：本发明将眼控、手势、语音等新型智能交互技术应用于防空反导武器操作系统中，基于瞳孔-角膜反射原理获得的眼动跟踪精度达到了0.7°以内，同时可以适应多种尺寸显示设备，并能够适应一定范围内的头动，实现了手势控制、语音控制系统命令功能，并能够辅助眼动实现多通道交互，解决了高强度作战任务下单通道交互造成的认知负荷过载问题，使交互控制过程更加自然、高效、可靠。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1是本发明实施例的眼动交互控制模块中眼动记录流程图；
图2是本发明实施例的记录操作者在意图交互行为状态下眼动数据的智能交互系统控制界面图；
图3是本发明实施例的眼动数据测试集的分类预测结果图；
图4是本发明实施例的眼动交互控制流程图；
图5是本发明实施例的手势交互以人体为中心的坐标系映射整体流程图；
图6是本发明实施例的手势与鼠标操作映射图。
具体实施方式
下面结合附图对本发明的实施例及效果作进一步详细描述。
参考图1，本发明实施例提供一种防空反导武器的多通道交互控制系统，包括：眼动交互控制模块和手势交互控制模块；
所述眼动交互控制模块：基于眼球的生理模型，通过眼动追踪仪获取眼睛对应的图像学参数，利用眼动记录和眼动控制得到实时注视点位置；
所述手势交互控制模块：利用骨骼跟踪法进行手势识别、通过人体坐标映射实现计算机屏幕上光标的位置显示和跟踪，通过特定的映射关系将用户的手势与计算机的鼠标操作指令进行匹配对应；从而根据手势触发计算机进行相应操作，使手势代替鼠标实现操作控制。
如图1所示，本实施例的眼动记录过程：采用单相机双红外传感器眼动追踪设备，整个眼动记录流程采用了四个工作系统：光学系统、图形处理系统、视景与坐标叠加系统、数据处理系统。光学系统主要由红外光源、高速摄像机构成。两个红外光源位于设备左右两侧，相机位于中间位置。由于人眼角膜对红外光有较大的反射率，当眼睛注视不同方向时，从不同角度进入眼睛的光线刺激瞳孔，使瞳孔中心向着注视方向运动，而同时角膜表面反射光斑的位置则固定不变。图形处理系统利用计算机图形学方法，提取瞳孔中心坐标，提取浦肯野像点。再根据浦肯野像点和眼睛与相机的几何关系计算角膜的曲率中心，从而获取注视矢量。视景与瞳孔坐标叠加系统，是在三维空间中确立注视方向矢量，并根据眼睛与屏幕的空间关系标定出对应的注视点坐标。而数据处理系统则用于数据的处理与分析。
如图2所示，本实施例的眼动控制流程为：
(a)采集用户在人机交互过程中的眼动特征数据；
其中，所述眼动特征数据为用户眼睛的有效注视点的X坐标和Y坐标、注视时间、眼跳幅度、瞳孔直径；所述有效注视点为将眼动追踪器输出的连续30个注视点取平均值作为一个有效注视点；
(b)对所述眼动特征数据进行归一化处理，得到标准化眼动特征数据，选取连续多个有效注视点的标准化眼动特征数据，作为眼动特征参数；
(c)将眼动特征参数划分为训练集和测试集，构建SVM分类器；采用眼动特征参数训练集中的样本对SVM分类器进行训练，得到优化后的SVM分类器；
(d)采用优化后的SVM分类器对眼动特征参数测试集进行分类，输出对应的操作意图类别，完成眼动交互控制。
示例性地，基于某操作任务，使用智能交互系统的控制界面来收集眼动特征数据，任务总共分为5个步骤，依次为：(1)随意扫视整个界面；(2)注视“精确制导雷达”按钮并意图通过眼控点击；(3)注视“开机”按钮并意图通过眼控点击；(4)注视左侧战斗机图标并意图通过眼控锁定；(5)注视“单发”按钮并意图通过眼控点击。
统计5种任务下的眼动数据，包括：注视停留时间
Figure BDA0002377185160000071
注视点X坐标平均值
Figure BDA0002377185160000072
Y坐标平均值
Figure BDA0002377185160000073
平均眼跳持续时间
Figure BDA0002377185160000074
平均眼跳速度
Figure BDA0002377185160000075
平均眼跳幅度
Figure BDA0002377185160000076
以及平均瞳孔直径
Figure BDA0002377185160000077
并对结果进行差异性分析，结果如表1所示。
表1眼动数据及差异性
Figure BDA0002377185160000078
Figure BDA0002377185160000081
由于单个注视点具有不稳定性，选择连续的3个注视采样点的位置X坐标和Y坐标、注视时间、眼跳幅度以及瞳孔直径共15个分量(见表2)作为分类5种眼动交互任务的特征参数。
表2眼动特征分量
眼动特征 X坐标 Y坐标 注视时间 眼跳幅度 瞳孔直径
注视点i-1 FX<sub>i-1</sub> FY<sub>i-1</sub> FD<sub>i-1</sub> Amp<sub>i-1</sub> PD<sub>i-1</sub>
注视点i FX<sub>i</sub> FY<sub>i</sub> FD<sub>i</sub> Amp<sub>i</sub> PD<sub>i</sub>
注视点i+1 FX<sub>i+1</sub> FY<sub>i+1</sub> FD<sub>i+1</sub> Amp<sub>i+1</sub> PD<sub>i+1</sub>
表中：FXi和FYi分别表示第i个注视采样点的X和Y坐标，FDi表示第i个采样点的注视时间，Ampi表示第i个采样点与第i-1个采样点之间的眼跳幅度，PDi表示第i个采样点瞳孔直径。
如图3所示，执行相应的眼动交互操作，需要根据眼动特征识别出眼动行为意图。利用SVM分类预测对特定行为意图下的眼动数据进行特征提取，构建基于眼动特征的交互行为意图预测模型。
首先需要从原始数据中把训练集和测试集提取出来，接着对数据进行归一化处理，采用的归一化映射法则如下：
Figure BDA0002377185160000082
归一化的效果是将原始数据映射到[0，1]区间，之后用训练集对SVM进行训练，最后用得到的模型来预测测试集分分类标签。选取能较好反映5种状态的18名被试的总共300组典型数据作为训练集，再选取另外的200组数据作为测试集，设置五种交互状态下类别标签分别为(0；1；2；3；4)。由图3的分类预测结果显示，测试集90％以上的数据预测是准确的，识别准确率足以满足实际使用需求，因此最终确定选择眼动特征中的“时间特性”(注视时间)，“空间特性”(注视点X坐标、注视点Y坐标、眼跳幅度)、“瞳孔特性”(瞳孔直径)构建基于“时间-空间-瞳孔”特性的眼动交互策略。
如图4所示，根据基于“时间-空间-瞳孔”特性的眼动交互行为判别策略，提出眼动交互行为判别算法流程：
首先，使用有效注视点的X坐标和Y坐标对空间特性进行约束；
其次，利用注视时间是否在注视停留时间阈值对时间特性进行约束；
最后，利用眼跳幅度和瞳孔直径作为辅助决策约束条件；
当用户的注视点在阈值时间内持续集中于固定的空间阈值区域范围内，并且瞳孔直径和眼跳幅度分别处于对应的阈值之内时，则确定对应的操作意图类别，执行交互操作；否则不满足交互选择条件，不执行操作命令。
手势识别过程中，如图5所示：
首先，将骨骼跟踪坐标转换为人体坐标系：以肩部中心为原点A；以肩部中心、左髋部关节点B、右髋部关节点C确定的空间平面为人体空间坐标系X-Y轴平面；该平面水平方向向右为人体坐标系的X轴；该平面竖直方向向上为人体坐标系的Y轴；以AB×AC得到的法向量方向为人体坐标系的Z轴；点O是手V在人体坐标系中对应的映射坐标；
则人体平面的法向量为：
Figure BDA0002377185160000091
手V到人体平面的距离为：
Figure BDA0002377185160000101
手V映射到人体坐标系的坐标为：
Figure BDA0002377185160000102
通过以上转换公式，完成由骨骼跟踪坐标转换为人体坐标系坐标；
然后，将人体坐标系坐标映射到屏幕坐标系中，完成人体手势与屏幕点的映射转化，即完成手势识别；具体为：
为使左右手都能够在舒适的移动范围内控制鼠标移动，人体坐标系的原点并非映射到屏幕坐标的中心位置，而且根据选中左手还是右手来确定映射坐标。具体映射公式如下：
Figure BDA0002377185160000103
Figure BDA0002377185160000104
其中，(Xt，Yt)为人体坐标系原点映射到屏幕坐标系中的坐标；S(x，y)为人体坐标系中的坐标点；S′(x′，y′)是计算机屏幕坐标系中的对应坐标点。
如图6所示，根据手势操作事件与计算机鼠标事件的映射关系，并结合任务操作需求，定义2种计算机较为常用的鼠标操作高级事件：左键选中移动操作事件和左键单击确定操作事件。
所述左键选中移动操作事件由连续的鼠标LeftDown事件和LeftUp事件构成，分别映射为手势基本操作事件doGrip和doGripRelease。操作的流程为：先通过右手的移动事件(doMove)把计算机光标移动到指定位置，再通过右手的握拳和张开动作接连触发doGrip和doGripRelease事件来完成左键单击选取操作。
所述左键单击确定操作事件由连续的鼠标LeftDown事件、Move事件和LeftUp事件构成，映射为连续的手势基本操作事件doGrip、doMove、doGripRelease。操作的流程为：先通过手的移动事件(doMove)把计算机光标移动到指定位置，再通过手的握拳操作触发doGrip事件(即鼠标LeftDown事件)来选中指定位置并触发单击确定命令，而后通过手的移动操作触发doMove事件(即鼠标Move事件)来移动计算机的光标，最后通过手的张开动作触发doGripRelease事件(即鼠标LeftUp事件)来释放选中的目标，并以此完成左键单击确定操作事件。
语音交互控制中使用SAIP编写语音识别程序：
(1)初始化COM端口和接口；(2)创建语音识别引擎；(3)创建识别上下文接口；(4)设置识别消息；(5)设定感兴趣的事件为语音识别；(6)创建语法规则；(7)激活语法规则；(8)获取识别消息。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种防空反导武器的多通道交互控制系统，其特征在于，包括：眼动交互控制模块和手势交互控制模块；
所述眼动交互控制模块：基于眼球的生理模型，通过眼动追踪仪获取眼睛对应的图像学参数，利用眼动记录和眼动控制得到实时注视点位置；
所述手势交互控制模块：利用骨骼跟踪法进行手势识别、通过人体坐标映射实现计算机屏幕上光标的位置显示和跟踪，通过特定的映射关系将用户的手势与计算机的鼠标操作指令进行匹配对应；从而根据手势触发计算机进行相应操作，使手势代替鼠标实现操作控制。
2.根据权利要求1所述的防空反导武器的多通道交互控制系统，其特征在于，所述眼动记录包含以下步骤：
(a)利用高速摄像机和红外光源对瞳孔中心和角膜曲率中心进行定位；
(b)提取瞳孔中心坐标和角膜曲率中心坐标，通过坐标转换，计算出瞳孔角膜方向向量，进而得到注视矢量；
(c)利用九点校正，确定瞳孔角膜矢量和屏幕注视位置的映射关系，得到注视点坐标。
3.根据权利要求2所述的防空反导武器的多通道交互控制系统，其特征在于，所述利用高速摄像机和红外光源对瞳孔中心和角膜曲率中心进行定位，具体为：
首先，将两个红外光源设置于系统左右两侧，高速摄像机位于中间位置；
其次，根据人眼角膜对红外光反射率较大的特点，当眼睛注视不同方向时，从不同角度进入眼睛的光线刺激瞳孔，使瞳孔中心向着注视方向运动，而角膜表面反射光斑的位置固定不变，从而得到瞳孔中心和角膜曲率中心的位置。
4.根据权利要求1所述的防空反导武器的多通道交互控制系统，其特征在于，所述眼动控制包含以下步骤：
(a)采集用户在人机交互过程中的眼动特征数据；
其中，所述眼动特征数据为用户眼睛的有效注视点的X坐标和Y坐标、注视时间、眼跳幅度、瞳孔直径；所述有效注视点为将眼动追踪器输出的连续30个注视点取平均值作为一个有效注视点；
(b)对所述眼动特征数据进行归一化处理，得到标准化眼动特征数据，选取连续多个有效注视点的标准化眼动特征数据，作为眼动特征参数；
(c)将眼动特征参数划分为训练集和测试集，构建SVM分类器；采用眼动特征参数训练集中的样本对SVM分类器进行训练，得到优化后的SVM分类器；
(d)采用优化后的SVM分类器对眼动特征参数测试集进行分类，输出对应的操作意图类别，完成眼动交互控制。
5.根据权利要求4所述的防空反导武器的多通道交互控制系统，其特征在于，所述采用眼动特征参数训练集中的样本对操作意图SVM分类器进行训练，具体为：通过训练操作意图SVM分类器，提取用户每个操作意图下的眼动特征参数，得到用户操作意图与眼动特征参数之间的匹配规则。
6.根据权利要求4所述的防空反导武器的多通道交互控制系统，其特征在于，所述采用优化后的操作意图SVM分类器对眼动特征参数测试集进行分类为：根据所述用户操作意图与眼动特征参数之间的匹配规则，确定测试集中眼动特征参数对应的操作意图；具体为：
首先，使用有效注视点的X坐标和Y坐标对空间特性进行约束；
其次，利用注视时间是否在注视停留时间阈值对时间特性进行约束；
最后，利用眼跳幅度和瞳孔直径作为辅助决策约束条件；
当用户的注视点在阈值时间内持续集中于固定的空间阈值区域范围内，并且瞳孔直径和眼跳幅度分别处于对应的阈值之内时，则确定对应的操作意图类别。
7.根据权利要求1所述的防空反导武器的多通道交互控制系统，其特征在于，所述利用骨骼跟踪法进行手势识别，具体为：
首先，将骨骼跟踪坐标转换为人体坐标系：以肩部中心为原点A；以肩部中心、左髋部关节点B、右髋部关节点C确定的空间平面为人体空间坐标系X-Y轴平面；该平面水平方向向右为人体坐标系的X轴；该平面竖直方向向上为人体坐标系的Y轴；以AB×AC得到的法向量方向为人体坐标系的Z轴；点O是手V在人体坐标系中对应的映射坐标；
则人体平面的法向量为：
Figure FDA0002377185150000031
手V到人体平面的距离为：
Figure FDA0002377185150000032
手V映射到人体坐标系的坐标为：
Figure FDA0002377185150000033
完成由骨骼跟踪坐标转换为人体坐标系坐标；
其中，|·|为取模操作；AB、AC、AV、AO分别表示对应向量；
然后，将人体坐标系坐标映射到屏幕坐标系中，完成人体手势与屏幕点的映射转化，即完成手势识别。
8.根据权利要求1所述的防空反导武器的多通道交互控制系统，其特征在于，还包括语音交互控制模块。
CN202010070514.XA 2020-01-21 2020-01-21 一种防空反导武器的多通道交互控制系统 Pending CN111290575A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010070514.XA CN111290575A (zh) 2020-01-21 2020-01-21 一种防空反导武器的多通道交互控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010070514.XA CN111290575A (zh) 2020-01-21 2020-01-21 一种防空反导武器的多通道交互控制系统

Publications (1)

Publication Number Publication Date
CN111290575A true CN111290575A (zh) 2020-06-16

Family

ID=71030708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010070514.XA Pending CN111290575A (zh) 2020-01-21 2020-01-21 一种防空反导武器的多通道交互控制系统

Country Status (1)

Country Link
CN (1) CN111290575A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111736698A (zh) * 2020-06-23 2020-10-02 中国人民解放军63919部队 一种手动辅助定位的视线指点方法
CN113253851A (zh) * 2021-07-16 2021-08-13 中国空气动力研究与发展中心计算空气动力研究所 一种基于眼动跟踪的沉浸式流场可视化人机交互方法
CN113821108A (zh) * 2021-11-23 2021-12-21 齐鲁工业大学 基于多模态交互技术的机器人远程控制系统及控制方法
CN114327046A (zh) * 2021-11-30 2022-04-12 北京津发科技股份有限公司 一种多模态人机交互与状态智能预警的方法、装置及系统
CN114783044A (zh) * 2022-04-20 2022-07-22 石家庄铁道大学 隧道照明环境的防疲劳效果评价方法、电子设备及系统
CN115793862A (zh) * 2023-01-05 2023-03-14 东云睿连(武汉)计算技术有限公司 一种图像目标隐式标注方法、系统、电子设备及存储介质
CN116820379A (zh) * 2023-08-31 2023-09-29 中国电子科技集团公司第十五研究所 基于人因工程的装备显示控制方法、服务器及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
CN103713738A (zh) * 2013-12-17 2014-04-09 武汉拓宝电子系统有限公司 一种基于视觉跟踪和手势识别的人机交互方法
WO2015133889A1 (en) * 2014-03-07 2015-09-11 -Mimos Berhad Method and apparatus to combine ocular control with motion control for human computer interaction
US20160364321A1 (en) * 2014-02-20 2016-12-15 Hewlett Packard Enterprise Development Lp Emulating a user performing spatial gestures
CN107253192A (zh) * 2017-05-24 2017-10-17 湖北众与和智能装备科技有限公司 一种基于Kinect的无标定人机交互控制系统及方法
CN108874139A (zh) * 2018-06-20 2018-11-23 浙江工业大学 视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统
CN110362210A (zh) * 2019-07-24 2019-10-22 济南大学 虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
CN103713738A (zh) * 2013-12-17 2014-04-09 武汉拓宝电子系统有限公司 一种基于视觉跟踪和手势识别的人机交互方法
US20160364321A1 (en) * 2014-02-20 2016-12-15 Hewlett Packard Enterprise Development Lp Emulating a user performing spatial gestures
WO2015133889A1 (en) * 2014-03-07 2015-09-11 -Mimos Berhad Method and apparatus to combine ocular control with motion control for human computer interaction
CN107253192A (zh) * 2017-05-24 2017-10-17 湖北众与和智能装备科技有限公司 一种基于Kinect的无标定人机交互控制系统及方法
CN108874139A (zh) * 2018-06-20 2018-11-23 浙江工业大学 视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统
CN110362210A (zh) * 2019-07-24 2019-10-22 济南大学 虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
尹露等: "基于眼动跟踪的自动瞄准技术研究", 《兵工学报》 *
李孟歆: "《基于机器视觉的图像识别技术及其应用》", 31 January 2019, 中国矿业大学出版社 *
梁永强等: "基于眼动特征的人机交互行为意图预测模型", 《电子学报》 *
王增磊等: "面向协同装配的混合现实手眼交互技术研究", 《计算机应用与软件》 *
赵庆涛等: "基于体感识别的人形机器人姿态控制策略研究", 《互联网天地》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111736698A (zh) * 2020-06-23 2020-10-02 中国人民解放军63919部队 一种手动辅助定位的视线指点方法
CN113253851A (zh) * 2021-07-16 2021-08-13 中国空气动力研究与发展中心计算空气动力研究所 一种基于眼动跟踪的沉浸式流场可视化人机交互方法
CN113821108A (zh) * 2021-11-23 2021-12-21 齐鲁工业大学 基于多模态交互技术的机器人远程控制系统及控制方法
CN113821108B (zh) * 2021-11-23 2022-02-08 齐鲁工业大学 基于多模态交互技术的机器人远程控制系统及控制方法
CN114327046A (zh) * 2021-11-30 2022-04-12 北京津发科技股份有限公司 一种多模态人机交互与状态智能预警的方法、装置及系统
CN114783044A (zh) * 2022-04-20 2022-07-22 石家庄铁道大学 隧道照明环境的防疲劳效果评价方法、电子设备及系统
CN114783044B (zh) * 2022-04-20 2023-03-24 石家庄铁道大学 隧道照明环境的防疲劳效果评价方法、电子设备及系统
CN115793862A (zh) * 2023-01-05 2023-03-14 东云睿连(武汉)计算技术有限公司 一种图像目标隐式标注方法、系统、电子设备及存储介质
CN116820379A (zh) * 2023-08-31 2023-09-29 中国电子科技集团公司第十五研究所 基于人因工程的装备显示控制方法、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN111290575A (zh) 一种防空反导武器的多通道交互控制系统
Xu A real-time hand gesture recognition and human-computer interaction system
CN104504390B (zh) 一种基于眼动数据的网上用户状态识别方法和装置
Oka et al. Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems
CN103809733B (zh) 人机交互系统和方法
US20110111384A1 (en) Method and system for controlling skill acquisition interfaces
CN108595008B (zh) 基于眼动控制的人机交互方法
Lenman et al. Using marking menus to develop command sets for computer vision based hand gesture interfaces
CN106569613A (zh) 一种多模态人机交互系统及其控制方法
Heo et al. A realistic game system using multi-modal user interfaces
Rossol et al. A multisensor technique for gesture recognition through intelligent skeletal pose analysis
KR20180053416A (ko) 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치
CN107357428A (zh) 基于手势识别的人机交互方法及装置、系统
Hales et al. Interacting with objects in the environment by gaze and hand gestures
CN106377228B (zh) 基于Kinect的无人机操作员状态监视与分层控制方法
US20120268359A1 (en) Control of electronic device using nerve analysis
CN102402289A (zh) 一种基于机器视觉的手势鼠标识别方法
JPH04372012A (ja) 入力装置
CN106681509A (zh) 界面操作的方法和系统
CN110472396B (zh) 一种体感手势触控方法、系统、平台及存储介质
CN107390881A (zh) 一种手势控制方法
Alsharif et al. Gaze gesture-based human robot interface
Sugiura et al. A natural click interface for AR systems with a single camera
CN113128417A (zh) 一种基于头部姿态的双区域眼动跟踪方法
Czupryna et al. Real-time vision pointer interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200616

RJ01 Rejection of invention patent application after publication