CN109634407B - 一种基于多模人机传感信息同步采集与融合的控制方法 - Google Patents

一种基于多模人机传感信息同步采集与融合的控制方法 Download PDF

Info

Publication number
CN109634407B
CN109634407B CN201811326796.4A CN201811326796A CN109634407B CN 109634407 B CN109634407 B CN 109634407B CN 201811326796 A CN201811326796 A CN 201811326796A CN 109634407 B CN109634407 B CN 109634407B
Authority
CN
China
Prior art keywords
fusion
fused
information
data
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811326796.4A
Other languages
English (en)
Other versions
CN109634407A (zh
Inventor
代京
王振亚
阳佳
王琳娜
程奇峰
袁本立
李旗挺
宋盛菊
雍颖琼
刘冬
杜立超
张宏江
赵大海
刘岱
杨玉堃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Launch Vehicle Technology CALT
Original Assignee
China Academy of Launch Vehicle Technology CALT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Launch Vehicle Technology CALT filed Critical China Academy of Launch Vehicle Technology CALT
Priority to CN201811326796.4A priority Critical patent/CN109634407B/zh
Publication of CN109634407A publication Critical patent/CN109634407A/zh
Application granted granted Critical
Publication of CN109634407B publication Critical patent/CN109634407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及人机混合智能交互控制领域，特别涉及一种基于多模态脑眼信息融合的移动式同步采集与融合的控制方法。针对人体生理信息采集要求，利用视觉跟踪与脑机接口技术，采集人体的视觉和意识信号，作为多模态信息通道的输入；开发基于数字头盔的增强现实环境，设计基于事件触发的集成采样接口，实现信息流的移动式同步采集与输出；利用ReliefF评估和诱导有序信息集结算子，实现人体生理信息在特征层和权重层的融合；在数字头盔集成条件下，实现多模信息状态下对被控对象的对指令集协同控制。本发明解决了现有技术中存在的人机交互信息表征鲁棒性、稳定性不足的问题。

Description

一种基于多模人机传感信息同步采集与融合的控制方法
技术领域
本发明涉及人机混合智能交互控制领域，特别涉及一种基于多模态脑眼信息融合的移动式同步采集与融合的控制方法。
背景技术
多模态新型交互的特点是基于智能接口技术，充分利用人的多种感知通道，以并行的、自然的方式与计算机系统进行交互，从而提升人机交互的拓展性和增益性，其核心在于不同交互模态之间的有机整合。近年来，国外研究机构在相关领域进行了广泛探索。多通道界面已经被用在许多应用程序，包括使用地图的模拟、信息亭、AT&T的MATCHKiosk和生物认证系统等。2012年4月，谷歌公司发布了“拓展现实”眼镜，将物理操作模块和眼动控制、语音控制相结合，可以通过声音控制拍照，视频通话、处理文字信息和电子邮件等，并通过眼睛对各种功能进行选择；2014年巴西足球世界杯开幕式上，一位下肢残疾的巴西青年在脑机接口技术的帮助下，用自己的脑电控制一套下肢外骨骼踢出了第一脚球，成为新型人机交互模式的典型案例；微软开发的Kinect传感设备能够将操作者的语音、手势动作等信息进行融合识别，进行多范式的集成控制，在体感游戏等领域得到了成功应用；多模态人机交互接口还可以帮助残疾用户利用声音和头部运动来操作机器，头部位置表示在当前时刻的坐标位置，并通过对话提供由光标选择的对象必须执行的动作含义；卡尔斯鲁厄大学和哈佛医学院在辅助医疗方面，将力信号、视觉信号和物理控制相结合，致力于开发适用于神经外科手术机器人的新型人机交互系统。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提出一种基于多模人机传感信息同步采集与融合的控制方法，该方法的核心在于建立稳定的交互通道，并对信息流进行同步采集和处理，利用信息之间的互相补充，减少人机交互过程中单通道信息感知和控制可能存在的理解性不强、鲁棒性不足等问题，实现异源人机交互信息的优化决策。
本发明的技术解决方案是：
一种基于多模人机传感信息同步采集与融合的控制方法，该方法的步骤包括：
第一步，视觉控制信息的采集过程为：
(11)利用视觉红外检测设备获取眼球的运动图像；
(12)利用三通道差分粒子滤波对步骤(11)得到的运动图像进行处理，提取眼球的运动角度和距离特征；
(13)对步骤(12)提取的眼球的运动角度和距离特征进行解算，得到待控制目标在视觉范围内的三维坐标；
第二步，脑机接口控制信息的采集过程为：
(21)建立不同频率的稳态视觉诱发刺激生成平台，刺激生成能够检测的脑电信号；
(22)通过脑电放大器提取步骤(21)检测到的脑电信号；
(23)利用相关性分析的方法对步骤(22)提取到的脑电信号进行特征提取，得到能够用于模式分类的特征向量，并建立训练模板；
第三步，视觉控制信息和脑机接口控制信息的融合过程为：
(31)对眼球的运动角度进行归一化处理，对特征向量进行归一化处理，得到具有相同量纲的待融合数据特征向量；
(32)对步骤(31)得到的待融合数据特征向量进行二次采样，以获取时间流一致的待融合数据特征向量；
(33)利用ReliefF方法将步骤(32)中得到的待融合数据特征向量进行降维融合处理，得到融合后的特征子集；
第四步，控制过程为：
将第三步得到的融合后的特征子集作为输入控制信号，实现在增强现实环境下的待控制目标的实时控制。
所述的步骤(12)中，利用三通道差分粒子滤波对运动图像进行处理的详细方法为：
对运动图像构建三通道彩色图TDPF，并对构建的三通道彩色图TDPF进行差分处理，公式如式(1)：
Figure BDA0001858954030000031
其中，pij为通用的三个通道上的像素点，
Figure BDA0001858954030000032
和
Figure BDA0001858954030000033
分别是TDPF三个通道上的像素点，pbij为亮瞳图像的像素点，pdij为暗瞳图像的像素点，blobij为差分图像滤波后瞳孔图像的像素点，TDPF充分利用了各通道信息，瞳孔特征较明显，瞳孔区域的色彩明显与人脸其他部位不同，提高了跟踪的稳定性与精确性；
所述的步骤(12)中，提取眼球的运动角度和距离特征的详细方法为：首先确定运动角度的检测范围，方法为：如果在t时刻成功提取到连续的运动角度，t+1时刻时在t时刻瞳孔位置附近(光反射角度2°以内)进行运动角度的提取，如果在t时刻没有提取到连续的运动角度，则t+1时刻时在视场范围内重新进行搜索；其次，确定运动角度和距离特征的计算方法，过程为：
(121)对眼球进行校准，校准过程为：给定九个眼球注视点，当眼球注视各点时，测量相应的瞳孔与光斑间位置相对偏移量，然后确定眼球转动引起的注视点变化与偏移量间存在的映射关系；
(122)根据步骤(121)中得到的映射关系，根据映射关系构建三通道彩色图TDPF，对构建的三通道彩色图TDPF利用公式(1)进行差分处理，得到眼球的运动角度；
(123)根据步骤(122)中得到的眼球的运动角度a获取距离特征L，L＝D/cosa，D为待控制目标在视场范围内的标定距离；
所述的步骤(23)中，利用相关性分析的方法对脑电信号进行特征提取，得到能够用于模式分类的特征向量的方法采用带模板的Filter bank canonical correlationanalysis(FBCCA)，脑电信号χ为四维向量：
Figure BDA0001858954030000041
其中Ns为每试次的数据长度，n为数据点，Nc为导联数量，j为导联号，Nf为刺激数量，k为频率序号，Nt为试次数量，h为试次序号；
所述的步骤(31)中，对眼球的运动角度进行归一化处理的方法为：设运动角度(特征向量)中的最大值为max，最小值为min，当前值为M，将M进行归一化后的结果M'为：M'＝(M-min)/(max-min)，即将运动角度(特征向量)的数值转化为相对值，消除量纲；
所述的步骤(33)中，利用ReliefF方法对待融合数据特征向量进行降维融合处理的方法为：
(331)假定待融合数据特征向量的类标为ci∈(C1,…,C6)，计算待融合数据特征向量中的样本si的k个同类标邻近样本(NHSj)和k个异类标邻近样本(NMSj)集合，k为自然数；
(332)在步骤(331)得到的集合基础上计算待融合数据特征向量的评价权重为：
Figure BDA0001858954030000042
其中，p(ci)和p(class(si))分别表示ci类样本和与si同类的样本在全集中的占比，那么
Figure BDA0001858954030000043
就表示属于ci类的样本占与si不同类样本全集的比重，r表示对样本重复抽样的次数，k为样本si的同类和异类邻近样本数目；
(333)根据步骤(332)得到的评价权重对待融合数据特征向量进行排序，取前X(X小于待融合数据特征向量的维数，优选待融合数据特征向量维数的一半)个融合数据特征子集作为降维融合处理的结果。
有益效果
(1)本发明的方法，包括：针对视觉跟踪控制要求，开发人体视点捕捉算法；针对脑电信息处理与判别要求，开发人体脑电信息特征提取算法；研究信息融合驱动下的控制信息采集与辨识方法，并生成相应的控制指令信号；实现在增强现实环境中的测试验证，具备基于多模信息融合的操作者意图理解与移动式控制。
(2)针对视觉跟踪控制要求，开发人体视点捕捉算法，包括；将视觉跟踪采集硬件与数字头盔进行整合，将眼球追踪传感器置于眼镜片下，既不会对视线范围产生影响，又能跟踪使用者的瞳孔活动。追踪速度达到120～380Hz，能够跟上眼睛的运动速度。开发基于三通道差分粒子滤波的视觉跟踪算法，实现对视点坐标信息的实时提取和动态捕捉。在AR环境中建立与视觉跟踪的接口，实现视觉驱动下的目标检测和碰撞。
(3)开发基于三通道差分粒子滤波的视觉跟踪算法，实现对视点坐标信息的实时提取和动态捕捉，包括：本发明以瞳孔定位为基础在相邻两帧中进行视线参数提取，在初始帧中对瞳孔进行定位以后，在接下来的视频序列中对瞳孔进行动态跟踪。本专利采用三通道彩色图来增强粒子滤波的追踪性能，利用各通道瞳孔区域的色彩明显与人脸其他部位不同的优势进行识别。同时，本发明采用快速视觉跟踪与阶段跟踪相结合的方法，提高视觉检测的稳定性与精确性。
(4)所述的采用快速视觉跟踪与阶段跟踪相结合提升视觉检测性能，包括：在长时间眼动跟踪过程中将快速特征提取与阶段跟踪有机结合，即在t时刻成功进行特征参数提取后，t+1时刻首先在t时刻瞳孔位置的附近进行特征参数提取，如果不成功则加大搜索范围。通过这样的方式，可以减少平均特征参数提取时间，目标稳定的阶段由快速特征提取来处理，计算复杂度较高的粒子滤波用来跟踪目标不稳定的阶段。
(5)所述的在AR环境中建立与视觉跟踪的接口，实现视觉驱动下的目标检测和碰撞，包括：构建面向空间虚拟遥作业的增强现实控制平台，采用九点定标方法来计算并验证操作者的视线跟踪坐标结果，建立视线与控制区域的映射关系，通过碰撞算法，得到相关的控制行为指令。
(6)所述的针对脑电信息处理与判别要求，开发人体脑电信息特征提取算法，包括：在增强现实环境中，利用稳态视觉诱发刺激(SSVEP)构建脑电信息生成平台，实现多通道脑电信息的采集。然后，利用机器学习方法对提取到的脑电信息进行模式识别。
(7)利用机器学习方法对提取到的脑电信息进行模式识别，包括：采用主成份分析(PCA)算法提取脑电信息流中的主成份分量，建立相关的相似性匹配模板，接着利用带模板滤波器相关性分析(FBCCA)算法进行脑电信息的模式识别。
(8)所述的研究信息融合驱动下的控制信息采集与辨识方法，并生成相应的控制指令信号，包括：构建基于事件指令的脑眼信息同步采集方法，实现信息在时序和格式上的同步处理。同时，在特征层进行脑眼多模态特征信息的有机融合，实现相关性特征维度优选。
(9)所述的在特征层进行脑眼多模态特征信息的有机融合，实现相关性特征维度优选，包括：采用ReliefF方法实现脑眼信息特征的融合。结合数据核心属性对特征的重要度进行评分，并选择出权重较高的特征集合作为控制分类模型的输入。该方法在高维数据对象中具有较好的适用性和拓展性。
(10)实现在增强现实环境中的测试验证，具备基于多模信息融合的操作者意图理解与移动式控制，包括：在数字头盔环境中，开发面向虚拟遥操作的增强现实控制平台，并设计相应的控制信息流接口，实现视觉跟踪与脑机接口在AR环境中的嵌入式封装。
(11)设计相应的控制信息流接口，包括：信息采集系统采用标准化、规范化的数据接口，提高对通用性生理信号检测系统的支持能力，同时，可自适应调节眼动、手势等时间分辨率较高的人机交互范式的采样性能，实现信道接口的有序规划。
(12)本发明公开了一种多模人机传感信息移动式同步采集与融合方法，包括：针对人体生理信息采集要求，利用视觉跟踪与脑机接口技术，采集人体的视觉和意识信号，作为多模态信息通道的输入；开发基于数字头盔的增强现实环境，设计基于事件触发的集成采样接口，实现信息流的移动式同步采集与输出；利用ReliefF评估和诱导有序信息集结算子，实现人体生理信息在特征层和权重层的融合；在数字头盔集成条件下，实现多模信息状态下对被控对象的对指令集协同控制。本发明解决了现有技术中存在的人机交互信息表征鲁棒性、稳定性不足的问题。
以(r*k)作为除数，旨在ReliefF评价中对近邻样本的差异性进行平均化，以计算出符合多分类要求的权重结果。因此，ReliefF评估方法是将近邻样本的差异性平均化，计算si与所有类样本之间在特征t上的平均差距大小，由此来评价特征对近距离邻近样本的区分能力。该方法对多目标决策任务具有良好的适用性。
附图说明
图1为本发明的视觉跟踪的九点定标示意图；
图2为本发明的视觉三通道采集数据波形；
图3为本发明的脑电信息检测波形示意图；
图4为本发明的脑眼融合结果对比示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例
一种基于多模人机传感信息同步采集与融合的控制方法，该方法的步骤包括：
第一步，视觉控制信息的采集过程为：
(11)利用视觉红外检测设备获取眼球的运动图像；
(12)利用三通道差分粒子滤波对步骤(11)得到的运动图像进行处理，提取眼球的运动角度和距离特征；
(121)对眼球进行校准，校准过程为：给定九个眼球注视点，如图1所示，当眼球注视各点时，测量相应的瞳孔与光斑间位置相对偏移量，然后确定眼球转动引起的注视点变化与偏移量间存在的映射关系，如图2所示；
(122)根据步骤(121)中得到的映射关系，根据映射关系构建三通道彩色图TDPF，对构建的三通道彩色图TDPF利用公式(1)进行差分处理，得到眼球的运动角度；
(123)根据步骤(122)中得到的眼球的运动角度a获取距离特征L，L＝D/cosa，D为待控制目标在视场范围内的标定距离；
(13)对步骤(12)提取的眼球的运动角度和距离特征进行解算，得到待控制目标在视觉范围内的三维坐标；
表1 5种光照强度下视线跟踪算法的对比结果
Figure BDA0001858954030000081
从结果中可以看出，在五种不同的光照环境C1-C5中，随着亮度的提升，每类诊断模型的精度也随之增加，但与传统的方法相比，TDPF算法通过对人眼瞳孔分辨率的增强，强化了对视线数据的表达能力，并消除了模型在训练过程中性能波动带来的负面影响，从而在大多数情况下都具备较高的识别和定位精度。
第二步，脑机接口控制信息的采集过程为：
(21)建立不同频率的稳态视觉诱发刺激生成平台，刺激生成能够检测的脑电信号；
(22)通过脑电放大器提取步骤(21)检测到的脑电信号，如图3所示；
(23)利用相关性分析的方法对步骤(22)提取到的脑电信号进行特征提取，得到能够用于模式分类的特征向量，并建立训练模板；
第三步，视觉控制信息和脑机接口控制信息的融合过程为：
(31)对眼球的运动角度进行归一化处理，对特征向量进行归一化处理，得到具有相同量纲的待融合数据特征向量；
(32)对步骤(31)得到的待融合数据特征向量进行二次采样，以获取时间流一致的待融合数据特征向量；
(33)利用ReliefF方法将步骤(32)中得到的待融合数据特征向量进行降维融合处理，得到融合后的特征子集；
将信息融合后的控制输出进行十倍交叉验证，计算相应的指令识别精度，在60组试验数据中的结果如图4所示。
在图4中，连续点表示与预期结果一致，离散点表示与预期结果存在偏差。可以观察到，通过训练，脑眼融合模型取得了更高的识别精度。
第四步，控制过程为：
将第三步得到的融合后的特征子集作为输入控制信号，实现在增强现实环境下的待控制目标的实时控制。

Claims (7)

1.一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于该方法的步骤包括：
第一步，使用视觉对控制信息进行采集，得到视觉控制信息；
第二步，使用脑机接口对控制信息进行采集，得到脑机接口控制信息；
第三步，对第一步得到的视觉控制信息和第二步得到的脑机接口控制信息进行融合，得到融合后的特征子集；
第四步，将第三步得到的融合后的特征子集作为输入控制信号，实现在增强现实环境下的待控制目标的实时控制；
所述的第一步中，视觉控制信息的采集过程为：
(11)利用视觉红外检测设备获取眼球的运动图像；
(12)利用三通道差分粒子滤波对步骤(11)得到的运动图像进行处理，提取眼球的运动角度和距离特征；
(13)对步骤(12)提取的眼球的运动角度和距离特征进行解算，得到待控制目标在视觉范围内的三维坐标；
所述的步骤(12)中，提取眼球的运动角度和距离特征的详细方法为：首先确定运动角度的检测范围，方法为：如果在t时刻成功提取到连续的运动角度，t+1时刻时在t时刻瞳孔位置附近进行运动角度的提取，如果在t时刻没有提取到连续的运动角度，则t+1时刻时在视场范围内重新进行搜索；其次，确定运动角度和距离特征的计算方法，过程为：
(121)对眼球进行校准，校准过程为：给定九个眼球注视点，当眼球注视各点时，测量相应的瞳孔与光斑间位置相对偏移量，然后确定眼球转动引起的注视点变化与偏移量间存在的映射关系；
(122)根据步骤(121)中得到的映射关系，根据映射关系构建三通道彩色图TDPF，对构建的三通道彩色图TDPF利用公式(1)进行差分处理，得到眼球的运动角度；
Figure FDA0003343704050000021
其中，pij为通用的三个通道上的像素点，
Figure FDA0003343704050000022
和
Figure FDA0003343704050000023
分别是TDPF三个通道上的像素点，pbij为亮瞳图像的像素点，pdij为暗瞳图像的像素点，blobij为差分图像滤波后瞳孔图像的像素点；
(123)根据步骤(122)中得到的眼球的运动角度a获取距离特征L，L＝D/cosa，D为待控制目标在视场范围内的标定距离。
2.根据权利要求1所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的第二步中，脑机接口控制信息的采集过程为：
(21)建立不同频率的稳态视觉诱发刺激生成平台，刺激生成能够检测的脑电信号；
(22)通过脑电放大器提取步骤(21)检测到的脑电信号；
(23)利用相关性分析的方法对步骤(22)提取到的脑电信号进行特征提取，得到能够用于模式分类的特征向量，并建立训练模板。
3.根据权利要求2所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的步骤(23)中，利用相关性分析的方法对脑电信号进行特征提取，得到能够用于模式分类的特征向量的方法采用带模板的Filter bank canonical correlationanalysis(FBCCA)，脑电信号χ为四维向量：
Figure FDA0003343704050000024
其中Ns为每试次的数据长度，n为数据点，Nc为导联数量，j为导联号，Nf为刺激数量，k为频率序号，Nt为试次数量，h为试次序号。
4.根据权利要求1所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的第三步中，视觉控制信息和脑机接口控制信息的融合过程为：
(31)对眼球的运动角度进行归一化处理，对特征向量进行归一化处理，得到具有相同量纲的待融合数据特征向量；
(32)对步骤(31)得到的待融合数据特征向量进行二次采样，以获取时间流一致的待融合数据特征向量；
(33)利用ReliefF方法将步骤(32)中得到的待融合数据特征向量进行降维融合处理，得到融合后的特征子集。
5.根据权利要求4所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的步骤(31)中，对眼球的运动角度进行归一化处理的方法为：设运动角度中的最大值为max，最小值为min，当前值为M，将M进行归一化后的结果M'为：M'＝(M-min)/(max-min)，即将运动角度的数值转化为相对值，消除量纲。
6.根据权利要求4所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的步骤(33)中，利用ReliefF方法对待融合数据特征向量进行降维融合处理的方法为：
(331)假定待融合数据特征向量的类标为ci∈(C1,…,C6)，计算待融合数据特征向量中的样本si的k个同类标邻近样本和k个异类标邻近样本集合，k为自然数；NHSj表示同类标邻近样本，NMSj表示异类标邻近样本；
(332)在步骤(331)得到的集合基础上计算待融合数据特征向量的评价权重为：
Figure FDA0003343704050000031
其中，p(ci)和p(class(si))分别表示ci类样本和与si同类的样本在全集中的占比，那么
Figure FDA0003343704050000032
就表示属于ci类的样本占与si不同类样本全集的比重，r表示对样本重复抽样的次数，k为样本si的同类和异类邻近样本数目；
(333)根据步骤(332)得到的评价权重对待融合数据特征向量进行排序，取前X个融合数据特征子集作为降维融合处理的结果，X小于待融合数据特征向量的维数。
7.根据权利要求6所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：X为待融合数据特征向量维数的一半。
CN201811326796.4A 2018-11-08 2018-11-08 一种基于多模人机传感信息同步采集与融合的控制方法 Active CN109634407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811326796.4A CN109634407B (zh) 2018-11-08 2018-11-08 一种基于多模人机传感信息同步采集与融合的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811326796.4A CN109634407B (zh) 2018-11-08 2018-11-08 一种基于多模人机传感信息同步采集与融合的控制方法

Publications (2)

Publication Number Publication Date
CN109634407A CN109634407A (zh) 2019-04-16
CN109634407B true CN109634407B (zh) 2022-03-04

Family

ID=66067513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811326796.4A Active CN109634407B (zh) 2018-11-08 2018-11-08 一种基于多模人机传感信息同步采集与融合的控制方法

Country Status (1)

Country Link
CN (1) CN109634407B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统
CN112650393A (zh) * 2020-12-23 2021-04-13 航天时代电子技术股份有限公司 头戴式遥操作控制设备
CN113359689A (zh) * 2021-06-04 2021-09-07 西北工业大学 非结构化环境下人机协同智能导航新技术

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1613425A (zh) * 2004-09-15 2005-05-11 南京大学 司机疲劳预警生物识别的方法和系统
CN102551741A (zh) * 2012-01-10 2012-07-11 西安交通大学 多任务视觉认知中脑负荷测定的实验系统和方法
CN106108893A (zh) * 2016-06-20 2016-11-16 杭州电子科技大学 基于眼电、脑电的运动想象训练人机交互系统设计方法
CN107885124A (zh) * 2017-11-21 2018-04-06 中国运载火箭技术研究院 一种增强现实环境中的脑眼协同控制方法及系统
CN108255293A (zh) * 2017-12-07 2018-07-06 中国航空工业集团公司西安航空计算技术研究所 眼动-脑电混合人机接口系统架构
CN108646915A (zh) * 2018-05-03 2018-10-12 东南大学 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3138068A1 (en) * 2014-04-28 2017-03-08 Tobii AB Determination of attention towards stimuli based on gaze information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1613425A (zh) * 2004-09-15 2005-05-11 南京大学 司机疲劳预警生物识别的方法和系统
CN102551741A (zh) * 2012-01-10 2012-07-11 西安交通大学 多任务视觉认知中脑负荷测定的实验系统和方法
CN106108893A (zh) * 2016-06-20 2016-11-16 杭州电子科技大学 基于眼电、脑电的运动想象训练人机交互系统设计方法
CN107885124A (zh) * 2017-11-21 2018-04-06 中国运载火箭技术研究院 一种增强现实环境中的脑眼协同控制方法及系统
CN108255293A (zh) * 2017-12-07 2018-07-06 中国航空工业集团公司西安航空计算技术研究所 眼动-脑电混合人机接口系统架构
CN108646915A (zh) * 2018-05-03 2018-10-12 东南大学 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Combining Eye Movements and EEG to Enhance Emotion Recognition;Yifei Lu;《IEEE》;20090831;全文 *
基于特征选择的数据降维算法;余大龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170831;全文 *
多模态人机混合交互智能控制技术;王振亚;《科技视界》;20180325;全文 *
视线追踪系统中眼睛跟踪方法研究;张闯;《自动化学报》;20100815;第1051-1060页 *

Also Published As

Publication number Publication date
CN109634407A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
US11366517B2 (en) Human-computer interface using high-speed and accurate tracking of user interactions
Al-Rahayfeh et al. Eye tracking and head movement detection: A state-of-art survey
Arai et al. Eyes Based Eletric Wheel Chair Control System--I (eye) can control Electric Wheel Chair
CN109634407B (zh) 一种基于多模人机传感信息同步采集与融合的控制方法
Sharma et al. Eye gaze techniques for human computer interaction: A research survey
JPH11175246A (ja) 視線検出装置及びその方法
US10843299B2 (en) Object recognition and presentation for the visually impaired
Pandey et al. Hand gesture recognition for sign language recognition: A review
CN109325408A (zh) 一种手势判断方法及存储介质
Jabnoun et al. Object recognition for blind people based on features extraction
CN117337426A (zh) 音频加强的增强现实
Chen et al. Gaze Gestures and Their Applications in human-computer interaction with a head-mounted display
Heo et al. Object recognition and selection method by gaze tracking and SURF algorithm
Cao et al. Gaze tracking on any surface with your phone
Chhabria et al. Multimodal interface for disabled persons
Pangestu et al. Electric Wheelchair Control Mechanism Using Eye-mark Key Point Detection.
Pradeep et al. Advancement of sign language recognition through technology using python and OpenCV
Skowronek et al. Eye Tracking Using a Smartphone Camera and Deep Learning
Bäck Neural network gaze tracking using web camera
Bilal et al. Design a Real-Time Eye Tracker
Huang et al. Robust feature extraction for non-contact gaze tracking with eyeglasses
Salunkhe et al. A review on device controlled using eye movement
Verma et al. 7 Machine vision for human–machine interaction using hand gesture recognition
JP2022008717A (ja) 音声と動作認識に基づいたスマートボードを制御する方法およびその方法を使用した仮想レーザーポインター
EP4101367A1 (en) Method and device for determining a visual performance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant