CN110687929B - 基于单目视觉与运动想象的飞行器三维空间目标搜索系统 - Google Patents

基于单目视觉与运动想象的飞行器三维空间目标搜索系统 Download PDF

Info

Publication number
CN110687929B
CN110687929B CN201910959441.7A CN201910959441A CN110687929B CN 110687929 B CN110687929 B CN 110687929B CN 201910959441 A CN201910959441 A CN 201910959441A CN 110687929 B CN110687929 B CN 110687929B
Authority
CN
China
Prior art keywords
aircraft
obstacle
subsystem
monocular vision
feasible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910959441.7A
Other languages
English (en)
Other versions
CN110687929A (zh
Inventor
史添玮
任玲
崔文华
张文宇
代红
张钊
陶冶
高明强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Liaoning USTL
Original Assignee
University of Science and Technology Liaoning USTL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Liaoning USTL filed Critical University of Science and Technology Liaoning USTL
Priority to CN201910959441.7A priority Critical patent/CN110687929B/zh
Publication of CN110687929A publication Critical patent/CN110687929A/zh
Application granted granted Critical
Publication of CN110687929B publication Critical patent/CN110687929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及基于单目视觉与运动想象的飞行器三维空间目标搜索系统，包括：单目视觉导航子系统：用于获取飞行器的实时前视环境障碍数据，估计可行飞行方向，并通过COM接口将数据传输至飞行器的主飞行控制板；决策子系统：根据分析采集至15导联的左手、右手、双脚与舌部运动想象，PC端地面控制系统将最终决策转换为控制指令通过WIFI传输至飞行器；本发明基于单目视觉与运动想象，采集15导联左手、右手、双脚、舌部运动想象的脑机接口，与基于单目视觉导航结合的方式实现多旋翼飞行器室内三维空间目标搜索，具有智能程度高、计算开销低、易于操作、控制稳定，可令使用者同时完成更多的控制任务等优点。

Description

基于单目视觉与运动想象的飞行器三维空间目标搜索系统
技术领域
本发明涉及图像处理技术、导航定位技术、信号处理技术和生物机械电子工程交叉领域，具体涉及一种基于单目视觉与运动想象的飞行器三维空间目标搜索系统。
背景技术
多旋翼飞行器尤其适合于需要飞行员执行，但有可能处于危险或受外界自然因素造成无法的完成任务，以及完成任务成本高等情况。由于这些特性，使得多旋翼飞行器在军事与民用领域均有广泛的应用，例如：农林植保、边界巡逻、地形与地质测绘、移动目标跟踪、灾难通讯恢复、电网巡线、交通状况监测与空气污染检测等。
尽管自主性在不断增强，但是，多旋翼飞行器仍然存在诸多应用瓶颈以及未涉足领域，例如：在室内三维空间目标搜索中，全自主导航系统无法在没有预先规划的前提下立即识别障碍物，且无法在路口处做出瞬时决策。由于半自主导航系统的智能决策是由人做出的，减少了全自主导航系统的计算负担，因此，与全自主导航相比，其更智能。半自主导航系统具有计算开销低与控制效率高的优势。
通常，人使用双手操控飞行器，这导致其无法同时完成更多的控制任务。此外，由于实际应用中存在无法预测的复杂性，有时需要人为控制的介入，但是，人的操作水平不同，往往对飞行器的控制产生不同影响。因此，如何引入更加智能、稳定且易于操作的控制模式，成为多旋翼飞行器实现目标搜索定位的一个亟待深入研究的问题。目前，各种接口控制系统被用于控制设备并且可为健康或残疾人士提供行动能力。它们可以通过红外线头戴式操纵杆、姿势、视觉信息、眼部运动、肌电(EMG)、眼电(EOG)与脑电(EEG)等不同方式实现。在这些不同的方法中，由于易于实施和良好的时间分辨率特性，EEG与EOG常用于非侵入式接口控制系统。脑-机接口(BCI)是指在人脑与计算机之间或其他设备之间建立的直接交流和控制通道，其不依赖于脑的正常生理输出通路。使用者可以通过大脑直接表达想法或控制设备，无需语言或肢体动作等。在BCI系统中，运动想象(MI)是一种研究最多的EEG信号。大脑皮质神经细胞自发产生的放电活动可以通过EEG信号来测量和记录，无需使用肌肉或周围神经。这些EEG信号是由安放在头皮附近的贴片电极采集得到的，是数以百万计神经元的活动总和。由于基于EEG的BCI系统可建立大脑活动和设备之间的通信，因此，被广泛应用于非侵入式BCI系统。
单目视觉是基于单目摄像机采集图像，单目摄像机的算法成熟度较高，飞行器行驶过程中需要进行障碍物检测识别等，单目视觉可以用来定位、目标识别等。
发明内容
为克服现有技术的不足，本发明的目的是提供一种基于单目视觉与运动想象的飞行器三维空间目标搜索系统。
为实现上述目的，本发明通过以下技术方案实现：
基于单目视觉与运动想象的飞行器三维空间目标搜索系统，包括：
单目视觉导航子系统：用于获取飞行器的实时前视环境障碍数据，估计可行飞行方向，并通过COM接口将数据传输至飞行器的主飞行控制板；
决策子系统：根据分析采集至15导联的左手、右手、双脚与舌部4种运动想象MI任务的脑电EEG特征而建立，其采用共空间模式CSP方法完成特征提取，采用分层支持向量机HSVM方法完成特征分类与决策，PC端地面控制系统将最终决策转换为控制指令通过WIFI传输至飞行器；
飞行器：根据PC端地面控制系统的控制指令工作，并将实时获取的前视图像、捷联惯性导航系统的实时定位信息、单目视觉导航子系统获取的实时环境障碍数据回传输至PC端地面控制系统；
捷联惯性导航系统：用于通过气压计、陀螺仪、加速度计与磁力计获取飞行器的瞬时惯性导航数据，并通过SPI接口将数据传输至飞行器的主飞行控制板；
WIFI与视频模块：用于飞行器与PC端地面控制系统之间的控制指令传输以及将获取的飞行器前视图像通过WIFI传输至PC端地面控制系统；
PC端地面控制系统：用于对飞行器远程控制，根据飞行器实时获取的前视图像、单目视觉导航子系统获取的实时环境障碍数据，通过决策子系统的运动想象脑电EEG信号控制飞行器；
被试者使用手动方式控制飞行器起飞与降落；飞行过程中，单目视觉导航子系统自动提供三维可行飞行方向；被试者在决策子系统中使用左手左旋、右手右旋、双脚上升与舌部下降四种MI任务完成可行飞行方向选择；若被试者选择某个可行飞行方向，则其被设置为飞行器后续自主飞行方向；若被试者未选择提供的可行飞行方向，即5s内未执行任何MI任务，其必须独自执行MI任务控制飞行器，即放松状态控制飞行器前向飞行；执行MI任务时，飞行器悬停；决策子系统每间隔30ms发送控制指令，持续2s时间，若飞行器后续2s内未接收到控制指令，将悬停并等待接收控制指令；
飞行器的主飞行控制板、捷联惯性导航系统与单目视觉导航子系统叠放在飞行器的旋翼支架交汇处，即飞行器的理论质心位置。
基于单目视觉与运动想象的飞行器三维空间目标搜索方法，包括以下步骤：
步骤1)被试者使用手动方式起飞飞行器，PC端地面控制系统向飞行器发送起飞控制指令；
步骤2)捷联惯性导航系统实时获取飞行器的瞬时惯性导航数据，并将数据传输至多旋翼飞行器的主飞行控制板；
步骤3)单目视觉导航子系统获取飞行器的实时前视环境障碍数据与估计可行方向，并将数据传输至飞行器的主飞行控制板；
前视环境障碍数据与估计可行方向方法如下：
单目视觉导航子系统采用62°视场范围，采用SIFT算法提取关键点；
单目视觉导航子系统采用的障碍检测方法主要包含三部分：①SIFT算法获取所有关键点即相应描述；②Brute-Force算法匹配特征点并优化；③通过比较匹配关键点尺寸大小与感兴趣目标“凸点”面积大小比率的变化估计障碍物及其位置；该检测方法不建立障碍物的3D模型与计算障碍物深度，仅通过判断连续图像中可能存在障碍物的尺寸比率变化实现；尺寸比率的建立是通过检测特征点直径的改变来实现，“凸点”面积也是通过这些特征点建立的；若尺寸比率超过阈值，则表示检测到障碍物；
特征检测与描述
单目视觉导航子系统采用SIFT算法提取所有关键点，并从连续两帧图像中得到关键点描述向量，即每个关键点的位置(x,y)与尺寸；然后，使用Brute-Force算法匹配该连续两帧图像中的关键点，并得到匹配关键点间的最小距离；如果匹配关键点的最小距离比率大于经验阈值，则将其剔除以提高匹配精度；最后，在剩余的匹配关键点中，将当前时刻帧图像中的关键点与前一时刻帧图像中相应的关键点比对：如果尺寸增大，则返回相应的匹配关键点位置，否则剔除；最终得到的匹配关键点格式定义为：
mkp(i)＝(x，y，s) (1)
式(1)中，mkp(i)为最终得到的匹配关键点，i为匹配关键点的索引，s为关键点直径；
感兴趣目标
用于估计飞行器前方出现障碍物的可能性；依据特征检测与描述中得到的最终匹配关键点，障碍检测方法可以在两个连续帧图像中分别得到两个由多个“凸点”组成的不规则多边形，进而得到“凸点”面积大小比率；
定义不规则多边形为：
Figure BDA0002228433050000041
式(2)中，λi为分配给关键点mkp(i)∈N的非负权重，且
Figure BDA0002228433050000042
该不规则多边形的面积可以描述为：
Figure BDA0002228433050000043
式(3)中，x(1:n)与y(1:n)为不规则多边形顶点，n为多边形边数；因此，最终匹配关键点大小比率ratio(mkp)与“凸点”面积大小比率ratio(C)分别可以描述为：
Figure BDA0002228433050000044
Figure BDA0002228433050000045
将式(4)与式(5)作为感兴趣目标是否为障碍物的判断准则，其表述为：
ratio(mkp)≥1.2∧ratio(C)≥1.7 (6)
Plx为视场坐标系中估计障碍的x轴最小值，Prx为估计障碍的x轴最大值，Puy为估计障碍的y轴最大值，Pdy为估计障碍的y轴最小值；碰撞区域四周为预估安全飞行区域，描述为：
Z左＝[(0,Puy),(Plx,Puy),(0,Pdy),(Plx,Pdy)]
Z右＝[(Prx,Puy),(ROIw,Puy),(Prx,Pdy),(ROIw,Pdy)]
Z上＝[(Plx,0),(Prx,0),(Plx,Puy),(Prx,Puy)]
Z下＝[(Plx,Pdy),(Prx,Pdy),(Plx,ROIh),(Prx,ROIh)] (7)
式(7)中，ROIh与ROIw分别表示62°的视场范围的高与宽；
为保证飞行器飞行安全，单目视觉导航子系统定义四旋翼飞行器与安全区域左/右的最小安全距离Slr与安全区域上/下的最小安全距离Sud分别为：
Slr＝飞行器宽度+40cm
Sud＝飞行器高度+40cm (8)
如果预估计安全区域范围大于定义的最小安全距离，则单目视觉导航子系统将相应的预估计安全区域选择为可飞行方向；最终将预估计安全区域右与预估计安全区域上选择为可飞行方向，并提示被试者使用决策子系统选择；
步骤4)飞行器将主飞行控制板处理后的飞行姿态、惯性导航数据、提取的环境特征、估计的可行方向与前视图像通过WIFI无线传输至PC端地面控制系统；
步骤5)飞行器判断是否完成最终的目标搜索：是，则执行步骤7)；否，则执行步骤6)；
步骤6)飞行器依据可行飞行方向为飞行器实现三维空间半自主避障：被试者需要在决策子系统中使用MI任务完成可行飞行方向选择，直至完成最终的目标搜索；
步骤7)被试者需要手动完成飞行器降落。
步骤6)包括以下步骤：
步骤6-1)判断是否遇到障碍：是，则执行步骤6-2)；否，则返回执行步骤2)；
步骤6-2)判断被试者是否选择单目视觉导航子系统提供的可行飞行方向：如果被试者选择了其中的某个可行飞行方向，执行步骤6-3)；如果被试者未选择单目视觉导航子系统提供的可行飞行方向，执行步骤6-5)；
步骤6-3)在选择可行飞行方向过程中，飞行器保持悬停；被选择的可行飞行方向被设置为飞行器的偏航角，飞行器将沿此方向完成后续的自主飞行，决策子系统每间隔30ms发送前向飞行控制指令；
决策子系统操作方法如下：
EEG信号由NuAmps电极帽的与15导联相对应的15个电极不间断采集；Ag/AgCl电极紧贴被试者头皮上，与耳后乳突连接的电极作为参考电极；将采集到的脑电EEG信号放大，并以250Hz的采样频率存储为数字信号；首先，将采集到的脑电EEG信号经过50Hz陷波滤波器滤除工频电源噪声；然后，经过3-34Hz带通滤波器滤除高频噪声；最后，采用5层小波包分解分析滤波后的脑电EEG信号；
采用共空间模式CSP方法完成特征提取，采用分层支持向量机HSVM方法完成特征分类与决策，其中，提取的特征作为HSVM方法分类器的输入；在分层支持向量机分类器中分别采用4个OVR第一层与6个OVO第二层支持向量机分类器；
在第一层分类过程中：1)如果仅有1个OVR支持向量机分类器得到有效结果，则该结果为最终分类结果输出；2)如果有任意2个OVR支持向量机分类器得到有效结果，则该结果输入第二层分类过程的相应OVO支持向量机分类器，其分类结果为最终分类结果输出；3)如果有2个以上OVR支持向量机分类器得到有效结果，则4种MI任务的脑电EEG信号被输入第二层分类过程的6个OVO支持向量机分类器；如果有3个以上OVO支持向量机分类器得到同一分类结果，则将其作为最终分类结果输出；
步骤6-4)返回执行步骤2；
步骤6-5)被试者必须完全依靠自己通过执行MI任务控制飞行器，此时，决策子系统每间隔30ms发送前向飞行控制指令，持续时间为3s；如果飞行器在后续2s内未接收到任何控制指令，将悬停并等待接收控制指令；执行步骤6-1)。
与现有技术相比，本发明的有益效果是：
本发明基于单目视觉与运动想象，采集15导联左手、右手、双脚、舌部运动想象的脑机接口，与基于单目视觉导航结合的方式实现多旋翼飞行器室内三维空间目标搜索，具有智能程度高、计算开销低、易于操作、控制稳定，可令使用者同时完成更多的控制任务等优点。经过测试验证，该系统具有较好的适应性与控制稳定性。采用62°视场范围，采用SIFT算法、Brute-Force算法等结合，缩小计算范围，提高计算效率。
附图说明
图1为基于单目视觉与运动想象的飞行器三维空间目标搜索系统的结构框图。
图2为基于单目视觉与运动想象的飞行器三维空间目标搜索方法的流程图。
图3为单目视觉导航子系统障碍检测算法的流程图。
图4为根据单目视觉导航子系统障碍检测算法得到的估计障碍与预估安全飞行区域示意图。
图5为基于单目视觉与运动想象的飞行器三维空间目标搜索方法中MI任务的EEG信号处理过程中单一MI任务的EEG数据采集过程示意图。
图6为基于单目视觉与运动想象的飞行器三维空间目标搜索方法中MI任务的EEG信号处理过程中连续MI任务的EEG数据采集过程示意图。
图7为基于单目视觉与运动想象的飞行器三维空间目标搜索方法中OVO与OVR策略的共空间模式一。
图8为基于单目视觉与运动想象的飞行器三维空间目标搜索方法中OVO与OVR策略的共空间模式二。
图9为基于单目视觉与运动想象的飞行器三维空间目标搜索方法中EEG信号处理过程。
图10为基于单目视觉与运动想象的飞行器三维空间目标搜索方法中MI任务界面。
具体实施方式
下面结合说明书附图对本发明进行详细地描述，但是应该指出本发明的实施不限于以下的实施方式。
如图1所示，基于单目视觉与运动想象的飞行器三维空间目标搜索系统，包括：
单目视觉导航子系统：用于获取飞行器的实时前视环境障碍数据，估计可行飞行方向，并通过COM接口将数据传输至飞行器的主飞行控制板；
决策子系统：根据分析采集至15导联(FT7、FC3、FCZ、FC4、FT8、T3、C3、CZ、C4、T4、TP7、CP3、CPZ、CP4与TP8)的左手、右手、双脚与舌部4种运动想象MI任务的脑电EEG特征而建立，采用共空间模式CSP方法完成特征提取，采用分层支持向量机HSVM方法完成特征分类与决策，PC端地面控制系统将最终决策转换为控制指令通过WIFI传输至飞行器；
飞行器：根据PC端地面控制系统的控制指令工作，并将实时获取的前视图像、捷联惯性导航系统的实时定位信息、单目视觉导航子系统获取的实时环境障碍数据回传输至PC端地面控制系统；
捷联惯性导航子系统：用于通过气压计、陀螺仪、加速度计与磁力计获取飞行器的瞬时惯性导航数据，并通过SPI接口将数据传输至飞行器的主飞行控制板；
WIFI与视频模块：用于飞行器与PC端地面控制系统之间的控制指令传输以及将获取的飞行器前视图像通过WIFI传输至PC端地面控制系统；
PC端地面控制系统：用于对飞行器远程控制，根据飞行器实时获取的前视图像、单目视觉导航子系统获取的实时环境障碍数据，通过决策子系统的运动想象EEG信号控制飞行器。被试者使用手动方式控制飞行器起飞与降落。飞行过程中，单目视觉导航子系统自动提供三维可行飞行方向。被试者在决策子系统中使用左手(左旋)、右手(右旋)、双脚(上升)与舌部(下降)四种MI任务完成可行飞行方向选择。若被试者选择某个可行飞行方向，则其被设置为飞行器后续自主飞行方向。若被试者未选择提供的可行飞行方向(5s内未执行任何MI任务)，其必须独自执行MI任务控制飞行器(放松状态控制飞行器前向飞行)。执行MI任务时，飞行器悬停。决策子系统每间隔30ms发送控制指令，持续2s时间。若飞行器后续2s内未接收到控制指令，其将悬停并等待接收控制指令。
飞行器的主飞行控制板、捷联惯性导航系统与单目视觉导航子系统重叠放置在飞行器的旋翼支架交汇处，即飞行器的理论质心位置(可以是：单目视觉导航子系统在最下，然后依次是捷联惯性导航系统与主飞行控制板)；捷联惯性导航系统通过SPI接口与飞行器的主飞行控制板连接，单目视觉导航子系统通过COM接口与飞行器的主飞行控制板连接，飞行器与PC端地面控制系统通过WIFI建立无线连接。
飞行器的主飞行控制板采用ARM9处理器，并运行Linux 2.6.32操作系统。其主要用于实现飞行器操控、姿态控制等；捷联贯性导航系统由一个气压计、9自由度的惯性测量单元(3轴陀螺仪、3轴加速度计与3轴磁力计)构成。
如图1-图10所示，采用所述的基于单目视觉与运动想象的飞行器三维空间目标搜索方法，包括以下步骤：
步骤1、被试者使用手动方式起飞飞行器，PC端地面控制系统向飞行器发送起飞控制指令；
步骤2、捷联惯性导航系统实时获取飞行器的瞬时惯性导航数据，并通过SPI接口将数据传输至多旋翼飞行器的主飞行控制板；
步骤3、单目视觉导航子系统获取飞行器的实时前视环境障碍数据与估计可行方向，并通过COM接口将数据传输至飞行器的主飞行控制板；
前视环境障碍数据与估计可行方向方法如下：
前期实验结果表明：感兴趣区域外检测到的任何障碍均不会对飞行器造成威胁。此外，仅处理感兴趣区域图像能够显著缩短运算时间。因此，单目视觉导航子系统采用62°视场范围(检测约800-1200关键点，识别时间约50.2ms)，而没有选择飞行器自带前视相机默认的92°视场范围(识别时间约100.7ms)。单目视觉导航子系统可用于8500-200000像素与90-120cm之间至少检测到约300个关键点的室内静止与运动障碍物(向飞行器运动)估计。
由于飞行器在未知环境中飞行，获取实时图像可能会受到噪音、误差、光照变化等不确定因素影响，因此，单目视觉导航子系统采用SIFT算法提取关键点。该子系统采用的障碍检测方法主要包含三部分：SIFT算法获取所有关键点即相应描述；Brute-Force算法匹配特征点并优化；通过比较匹配关键点尺寸大小与感兴趣目标“凸点”面积大小比率的变化估计障碍物及其位置。该检测方法不建立障碍物的3D模型与计算障碍物深度，其通过判断连续图像中可能存在障碍物的尺寸比率变化实现。尺寸比率的建立是通过检测特征点直径的改变来实现的，“凸点”面积也是通过这些特征点建立的。若尺寸比率超过阈值，则表示检测到障碍物。
特征检测与描述
单目视觉导航子系统采用SIFT算法提取所有关键点，并从连续两帧图像中得到关键点描述向量，即每个关键点的位置(x,y)与尺寸；然后，使用Brute-Force算法匹配该连续两帧图像中的关键点，并得到匹配关键点间的最小距离。如果匹配关键点的最小距离比率大于经验阈值，选择经验阈值为0.29，则将其剔除以提高匹配精度；最后，在剩余的匹配关键点中，将当前时刻帧图像中的关键点与前一时刻帧图像中相应的关键点比对。如果尺寸增大，则其返回相应的匹配关键点位置；否则剔除。最终得到的匹配关键点格式定义为：
mkp(i)＝(x，y，s) (1)
式(1)中，mkp(i)为最终得到的匹配关键点，i为匹配关键点的索引，s为关键点直径。
感兴趣目标
该部分主要用于估计飞行器前方出现障碍物的可能性。依据上述方法中得到的最终匹配关键点，采用的障碍检测方法可以在两个连续帧图像中分别得到两个由多个“凸点”组成的不规则多边形(可能为感兴趣目标)，进而可以得到“凸点”面积大小比率。
定义不规则多边形为：
Figure BDA0002228433050000091
式(2)中，λi为分配给关键点mkp(i)∈N的非负权重，且
Figure BDA0002228433050000092
该不规则多边形的面积可以描述为：
Figure BDA0002228433050000101
式(3)中，x(1:n)与y(1:n)为不规则多边形顶点，n为多边形边数。因此，最终匹配关键点大小比率与“凸点”面积大小比率分别可以描述为：
Figure BDA0002228433050000102
Figure BDA0002228433050000103
式(5)中Size(C2)和Size(C1)比值是通过比对前后2帧图像中匹配点关键点实现的(1与2分别为前后2帧图像)。
最终，将式(4)与式(5)作为感兴趣目标是否为障碍物的判断准则，其表述为：
ratio(mkp)≥1.2∧ratio(C)≥1.7 (6)
障碍检测算法得到的估计障碍与可行飞行区域如图3所示。
见图4，Pl为视场坐标系中估计障碍的x轴最小值，Pr为估计障碍的x轴最大值，Pu为估计障碍的y轴最大值，Pd为估计障碍的y轴最小值；碰撞区域四周为预估安全飞行区域，其可以描述为：
Figure BDA0002228433050000104
式(7)中，ROIh与ROIw分别表示62°的视场范围的高与宽。
为了保证飞行器飞行安全，单目视觉导航子系统定义四旋翼飞行器与安全区域左/右(Slr)与安全区域上/下(Sud)的最小安全距离分别为：
Figure BDA0002228433050000105
如果预估计安全区域范围大于定义的最小安全距离，则单目视觉导航子系统将相应的预估计安全区域选择为可飞行方向。最终将预估计安全区域右与预估计安全区域上选择为可飞行方向，并提示被试者使用决策子系统选择。
步骤4、飞行器将主飞行控制板处理后的飞行姿态、惯性导航数据、提取的环境特征、估计的可行方向(全部显示在显示器上供被试者选择)与前视图像通过WIFI无线传输至PC端地面控制系统；
步骤5、飞行器判断是否完成最终的目标搜索：是，则执行步骤7；否，则执行步骤6；
步骤6、飞行器依据可行飞行方向为飞行器实现三维空间半自主避障：被试者需要在决策子系统中使用MI任务完成可行飞行方向选择(左手(左旋)、右手(右旋)、双脚(上升)与舌部(下降))，直至完成最终的目标搜索。
步骤6包括如下步骤：
步骤6-1、判断是否遇到障碍：是，则执行步骤6-2；否，则返回执行步骤2；
步骤6-2、判断被试者是否选择单目视觉导航子系统提供的可行飞行方向：如果被试者选择了其中的某个可行飞行方向，执行步骤6-3；如果被试者未选择单目视觉导航子系统提供的可行飞行方向，执行步骤6-5；
步骤6-3、在选择可行飞行方向过程中，飞行器保持悬停；被选择的可行飞行方向被设置为飞行器的偏航角，飞行器将沿此方向完成后续的自主飞行，决策子系统每间隔30ms发送前向飞行控制指令；
决策子系统方法如下：
EEG信号由NuAmps电极帽的15个电极(FT7、FC3、FCZ、FC4、FT8、T3、C3、CZ、C4、T4、TP7、CP3、CPZ、CP4与TP8)不间断采集。依据国际10-20系统，Ag/AgCl电极紧贴被试者头皮上，与耳后乳突连接的电极作为参考电极。将采集到的EEG信号放大，并以250Hz的采样频率存储为数字信号。首先，将采集到的EEG信号经过50Hz陷波滤波器滤除工频电源噪声；然后，经过3-34Hz带通滤波器滤除高频噪声；最后，采用5层小波包分解分析滤波后的EEG信号(3-34Hz)。实验结果表明：在25-34Hz范围内，重构后的EEG信号幅度十分微弱且在运动想象过程中几乎不会发生改变。因此，选择3-24Hz频带范围内的EEG信号用于MI特征提取与分类。
见图7-图10，采用共空间模式CSP方法完成特征提取，采用分层支持向量机HSVM方法完成特征分类与决策，其中，提取的特征作为HSVM方法分类器的输入。在分层支持向量机分类器中分别采用4个OVR(第一层)与6个OVO(第二层)支持向量机分类器。
在第一层分类过程中：1)如果仅有1个OVR支持向量机分类器得到有效结果(其它3个无效)，则该结果为最终分类结果输出；2)如果有任意2个OVR支持向量机分类器得到有效结果(其它2个无效)，则该结果输入第二层分类过程的相应OVO支持向量机分类器，其分类结果为最终分类结果输出；3)如果有2个以上OVR支持向量机分类器得到有效结果，则4种MI任务的EEG信号被输入第二层分类过程的6个OVO支持向量机分类器。如果有3个以上OVO支持向量机分类器得到同一分类结果，则将其作为最终分类结果输出；
步骤6-4、返回执行步骤2；
见图5、图6，步骤6-5、被试者必须完全依靠自己通过执行MI任务控制飞行器(左手MI任务为左旋转；右手MI任务为右旋转；双脚MI任务为上升；舌部MI任务为下降；空闲MI任务为前向飞行)，此时，决策子系统每间隔30ms发送前向飞行控制指令，持续时间为3s。如果飞行器在后续2s内未接收到任何控制指令，其将悬停并等待接收控制指令；执行步骤6-1；
步骤7、被试者需要手动完成飞行器降落。

Claims (2)

1.基于单目视觉与运动想象的飞行器三维空间目标搜索系统，其特征在于，包括：
单目视觉导航子系统：用于获取飞行器的实时前视环境障碍数据，估计可行飞行方向，并通过COM接口将数据传输至飞行器的主飞行控制板；
决策子系统：根据分析采集至15导联的左手、右手、双脚与舌部4种运动想象MI任务的脑电EEG特征而建立，其采用共空间模式CSP方法完成特征提取，采用分层支持向量机HSVM方法完成特征分类与决策，PC端地面控制系统将最终决策转换为控制指令通过WIFI传输至飞行器；
飞行器：根据PC端地面控制系统的控制指令工作，并将实时获取的前视图像、捷联惯性导航系统的实时定位信息、单目视觉导航子系统获取的实时环境障碍数据回传输至PC端地面控制系统；
捷联惯性导航系统：用于通过气压计、陀螺仪、加速度计与磁力计获取飞行器的瞬时惯性导航数据，并通过SPI接口将数据传输至飞行器的主飞行控制板；
WIFI与视频模块：用于飞行器与PC端地面控制系统之间的控制指令传输以及将获取的飞行器前视图像通过WIFI传输至PC端地面控制系统；
PC端地面控制系统：用于对飞行器远程控制，根据飞行器实时获取的前视图像、单目视觉导航子系统获取的实时环境障碍数据，通过决策子系统的运动想象脑电EEG信号控制飞行器；
被试者使用手动方式控制飞行器起飞与降落；飞行过程中，单目视觉导航子系统自动提供三维可行飞行方向；被试者在决策子系统中使用左手左旋、右手右旋、双脚上升与舌部下降四种MI任务完成可行飞行方向选择；若被试者选择某个可行飞行方向，则其被设置为飞行器后续自主飞行方向；若被试者未选择提供的可行飞行方向，即5s内未执行任何MI任务，其必须独自执行MI任务控制飞行器，即放松状态控制飞行器前向飞行；执行MI任务时，飞行器悬停；决策子系统每间隔30ms发送控制指令，持续2s时间，若飞行器后续2s内未接收到控制指令，将悬停并等待接收控制指令；
飞行器的主飞行控制板、捷联惯性导航系统与单目视觉导航子系统叠放在飞行器的旋翼支架交汇处，即飞行器的理论质心位置；
采用所述的系统实现的基于单目视觉与运动想象的飞行器三维空间目标搜索方法，包括以下步骤：
步骤1)被试者使用手动方式起飞飞行器，PC端地面控制系统向飞行器发送起飞控制指令；
步骤2)捷联惯性导航系统实时获取飞行器的瞬时惯性导航数据，并将数据传输至多旋翼飞行器的主飞行控制板；
步骤3)单目视觉导航子系统获取飞行器的实时前视环境障碍数据与估计可行方向，并将数据传输至飞行器的主飞行控制板；
前视环境障碍数据与估计可行方向方法如下：
单目视觉导航子系统采用62°视场范围，采用SIFT算法提取关键点；
单目视觉导航子系统采用的障碍检测方法主要包含三部分：①SIFT算法获取所有关键点即相应描述；②Brute-Force算法匹配特征点并优化；③通过比较匹配关键点尺寸大小与感兴趣目标“凸点”面积大小比率的变化估计障碍物及其位置；该检测方法不建立障碍物的3D模型与计算障碍物深度，仅通过判断连续图像中可能存在障碍物的尺寸比率变化实现；尺寸比率的建立是通过检测特征点直径的改变来实现，“凸点”面积也是通过这些特征点建立的；若尺寸比率超过阈值，则表示检测到障碍物；
特征检测与描述
单目视觉导航子系统采用SIFT算法提取所有关键点，并从连续两帧图像中得到关键点描述向量，即每个关键点的位置(x,y)与尺寸；然后，使用Brute-Force算法匹配该连续两帧图像中的关键点，并得到匹配关键点间的最小距离；如果匹配关键点的最小距离比率大于经验阈值，则将其剔除以提高匹配精度；最后，在剩余的匹配关键点中，将当前时刻帧图像中的关键点与前一时刻帧图像中相应的关键点比对：如果尺寸增大，则返回相应的匹配关键点位置，否则剔除；最终得到的匹配关键点格式定义为：
mkp(i)＝(x，y，s) (1)
式(1)中，mkp(i)为最终得到的匹配关键点，i为匹配关键点的索引，s为关键点直径；
感兴趣目标
用于估计飞行器前方出现障碍物的可能性；依据特征检测与描述中得到的最终匹配关键点，障碍检测方法可以在两个连续帧图像中分别得到两个由多个“凸点”组成的不规则多边形，进而得到“凸点”面积大小比率；
定义不规则多边形为：
Figure FDA0003700619500000031
式(2)中，λi为分配给关键点mkp(i)∈N的非负权重，且
Figure FDA0003700619500000032
该不规则多边形的面积可以描述为：
Figure FDA0003700619500000033
式(3)中，x(1:n)与y(1:n)为不规则多边形顶点，n为多边形边数；因此，最终匹配关键点大小比率ratio(mkp)与“凸点”面积大小比率ratio(C)分别可以描述为：
Figure FDA0003700619500000034
Figure FDA0003700619500000035
将式(4)与式(5)作为感兴趣目标是否为障碍物的判断准则，其表述为：
ratio(mkp)≥1.2∧ratio(C)≥1.7 (6)
Plx为视场坐标系中估计障碍的x轴最小值，Prx为估计障碍的x轴最大值，Puy为估计障碍的y轴最大值，Pdy为估计障碍的y轴最小值；碰撞区域四周为预估安全飞行区域，描述为：
Figure FDA0003700619500000036
Z右＝[(Prx,Puy),(ROIw,Puy),(Prx,Pdy),(ROIw,Pdy)]
Z上＝[(Plx,0),(Prx,0),(Plx,Puy),(Prx,Puy)]
Z下＝[(Plx,Pdy),(Prx,Pdy),(Plx,ROIh),(Prx,ROIh)] (7)
式(7)中，ROIh与ROIw分别表示62°的视场范围的高与宽；
为保证飞行器飞行安全，单目视觉导航子系统定义四旋翼飞行器与安全区域左/右的最小安全距离Slr与安全区域上/下的最小安全距离Sud分别为：
Slr＝飞行器宽度+40cm
Sud＝飞行器高度+40cm (8)
如果预估计安全区域范围大于定义的最小安全距离，则单目视觉导航子系统将相应的预估计安全区域选择为可飞行方向；最终将预估计安全区域右与预估计安全区域上选择为可飞行方向，并提示被试者使用决策子系统选择；
步骤4)飞行器将主飞行控制板处理后的飞行姿态、惯性导航数据、提取的环境特征、估计的可行方向与前视图像通过WIFI无线传输至PC端地面控制系统；
步骤5)飞行器判断是否完成最终的目标搜索：是，则执行步骤7)；否，则执行步骤6)；
步骤6)飞行器依据可行飞行方向为飞行器实现三维空间半自主避障：被试者需要在决策子系统中使用MI任务完成可行飞行方向选择，直至完成最终的目标搜索；
步骤7)被试者需要手动完成飞行器降落。
2.根据权利要求1所述的基于单目视觉与运动想象的飞行器三维空间目标搜索系统，其特征在于，步骤6)包括以下步骤：
步骤6-1)判断是否遇到障碍：是，则执行步骤6-2)；否，则返回执行步骤2)；
步骤6-2)判断被试者是否选择单目视觉导航子系统提供的可行飞行方向：如果被试者选择了其中的某个可行飞行方向，执行步骤6-3)；如果被试者未选择单目视觉导航子系统提供的可行飞行方向，执行步骤6-5)；
步骤6-3)在选择可行飞行方向过程中，飞行器保持悬停；被选择的可行飞行方向被设置为飞行器的偏航角，飞行器将沿此方向完成后续的自主飞行，决策子系统每间隔30ms发送前向飞行控制指令；
决策子系统操作方法如下：
EEG信号由NuAmps电极帽的与15导联相对应的15个电极不间断采集；Ag/AgCl电极紧贴被试者头皮上，与耳后乳突连接的电极作为参考电极；将采集到的脑电EEG信号放大，并以250Hz的采样频率存储为数字信号；首先，将采集到的脑电EEG信号经过50Hz陷波滤波器滤除工频电源噪声；然后，经过3-34Hz带通滤波器滤除高频噪声；最后，采用5层小波包分解分析滤波后的脑电EEG信号；
采用共空间模式CSP方法完成特征提取，采用分层支持向量机HSVM方法完成特征分类与决策，其中，提取的特征作为HSVM方法分类器的输入；在分层支持向量机分类器中分别采用4个OVR第一层与6个OVO第二层支持向量机分类器；
在第一层分类过程中：1)如果仅有1个OVR支持向量机分类器得到有效结果，则该结果为最终分类结果输出；2)如果有任意2个OVR支持向量机分类器得到有效结果，则该结果输入第二层分类过程的相应OVO支持向量机分类器，其分类结果为最终分类结果输出；3)如果有2个以上OVR支持向量机分类器得到有效结果，则4种MI任务的脑电EEG信号被输入第二层分类过程的6个OVO支持向量机分类器；如果有3个以上OVO支持向量机分类器得到同一分类结果，则将其作为最终分类结果输出；
步骤6-4)返回执行步骤2；
步骤6-5)被试者必须完全依靠自己通过执行MI任务控制飞行器，此时，决策子系统每间隔30ms发送前向飞行控制指令，持续时间为3s；如果飞行器在后续2s内未接收到任何控制指令，将悬停并等待接收控制指令；执行步骤6-1)。
CN201910959441.7A 2019-10-10 2019-10-10 基于单目视觉与运动想象的飞行器三维空间目标搜索系统 Active CN110687929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910959441.7A CN110687929B (zh) 2019-10-10 2019-10-10 基于单目视觉与运动想象的飞行器三维空间目标搜索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910959441.7A CN110687929B (zh) 2019-10-10 2019-10-10 基于单目视觉与运动想象的飞行器三维空间目标搜索系统

Publications (2)

Publication Number Publication Date
CN110687929A CN110687929A (zh) 2020-01-14
CN110687929B true CN110687929B (zh) 2022-08-12

Family

ID=69111805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910959441.7A Active CN110687929B (zh) 2019-10-10 2019-10-10 基于单目视觉与运动想象的飞行器三维空间目标搜索系统

Country Status (1)

Country Link
CN (1) CN110687929B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159043A (zh) * 2007-11-19 2008-04-09 中国科学院计算技术研究所 一种视觉目标上下文空间关系编码的系统和方法
CN101799927A (zh) * 2010-03-23 2010-08-11 浙江大学 基于关键帧的卡通角色轮廓跟踪方法
CN102736792A (zh) * 2011-04-01 2012-10-17 玉晶光电股份有限公司 光学式触控系统
CN105468738A (zh) * 2015-11-24 2016-04-06 西安电子科技大学 基于眼动和脑电相结合的图像检索方法
CN106096559A (zh) * 2016-06-16 2016-11-09 深圳零度智能机器人科技有限公司 障碍物检测方法及系统以及运动物体
CN106362287A (zh) * 2016-10-24 2017-02-01 天津大学 一种新型mi‑sssep混合脑‑机接口方法及系统
CN106687878A (zh) * 2014-10-31 2017-05-17 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN106959753A (zh) * 2017-03-21 2017-07-18 西安交通大学 基于运动想象脑‑机接口的无人机虚拟控制方法及系统
CN107991671A (zh) * 2017-11-23 2018-05-04 浙江东车智能科技有限公司 一种基于雷达数据和视频信号融合识别危险目标的方法
CN108140245A (zh) * 2017-12-25 2018-06-08 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
CN108733201A (zh) * 2017-04-19 2018-11-02 辽宁科技大学 基于脑电与眼电的飞行器三维空间目标搜索系统和方法
CN108762303A (zh) * 2018-06-07 2018-11-06 重庆邮电大学 一种基于运动想象的便携式脑控无人机系统及控制方法
CN108764058A (zh) * 2018-05-04 2018-11-06 吉林大学 一种基于热成像效应的双摄像头人脸活体检测方法
CN109165657A (zh) * 2018-08-20 2019-01-08 贵州宜行智通科技有限公司 一种基于改进sift的图像特征检测方法及装置
CN110044374A (zh) * 2018-01-17 2019-07-23 南京火眼猴信息科技有限公司 一种基于图像特征的单目视觉测量里程的方法及里程计

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104083258B (zh) * 2014-06-17 2016-10-05 华南理工大学 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159043A (zh) * 2007-11-19 2008-04-09 中国科学院计算技术研究所 一种视觉目标上下文空间关系编码的系统和方法
CN101799927A (zh) * 2010-03-23 2010-08-11 浙江大学 基于关键帧的卡通角色轮廓跟踪方法
CN102736792A (zh) * 2011-04-01 2012-10-17 玉晶光电股份有限公司 光学式触控系统
CN106687878A (zh) * 2014-10-31 2017-05-17 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
CN105468738A (zh) * 2015-11-24 2016-04-06 西安电子科技大学 基于眼动和脑电相结合的图像检索方法
CN106096559A (zh) * 2016-06-16 2016-11-09 深圳零度智能机器人科技有限公司 障碍物检测方法及系统以及运动物体
CN106362287A (zh) * 2016-10-24 2017-02-01 天津大学 一种新型mi‑sssep混合脑‑机接口方法及系统
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN106959753A (zh) * 2017-03-21 2017-07-18 西安交通大学 基于运动想象脑‑机接口的无人机虚拟控制方法及系统
CN108733201A (zh) * 2017-04-19 2018-11-02 辽宁科技大学 基于脑电与眼电的飞行器三维空间目标搜索系统和方法
CN107991671A (zh) * 2017-11-23 2018-05-04 浙江东车智能科技有限公司 一种基于雷达数据和视频信号融合识别危险目标的方法
CN108140245A (zh) * 2017-12-25 2018-06-08 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
CN110044374A (zh) * 2018-01-17 2019-07-23 南京火眼猴信息科技有限公司 一种基于图像特征的单目视觉测量里程的方法及里程计
CN108764058A (zh) * 2018-05-04 2018-11-06 吉林大学 一种基于热成像效应的双摄像头人脸活体检测方法
CN108762303A (zh) * 2018-06-07 2018-11-06 重庆邮电大学 一种基于运动想象的便携式脑控无人机系统及控制方法
CN109165657A (zh) * 2018-08-20 2019-01-08 贵州宜行智通科技有限公司 一种基于改进sift的图像特征检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Brain Computer Interface system based on indoor semi-autonomous navigation and motor imagery for Unmanned Aerial Vehicle control;Tianwei Shi等;《Expert Systems with Applications》;20150224(第42期);第4196–4206页 *
基于形状匹配的商标图像检索技术研究;洪志令;《中国优秀博硕士学位论文全文数据库(博士)》;20090815(第08期);第I138-30页 *

Also Published As

Publication number Publication date
CN110687929A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN111602517B (zh) 一种串型水果分布式视觉主动感知方法及其应用
US20210173396A1 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
Shi et al. Brain Computer Interface system based on indoor semi-autonomous navigation and motor imagery for Unmanned Aerial Vehicle control
CN104083258B (zh) 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
US20170313439A1 (en) Methods and syststems for obstruction detection during autonomous unmanned aerial vehicle landings
WO2008045144A2 (en) Gesture recognition method and apparatus
Yuan et al. Human gaze-driven spatial tasking of an autonomous MAV
CN104777847A (zh) 基于机器视觉和超宽带定位技术的无人机目标追踪系统
CN106125747A (zh) 基于vr交互的无人机机载第一视角随动吊舱系统
CN105159452B (zh) 一种基于人脸姿态估计的控制方法与系统
CN110716578A (zh) 一种基于混合型脑机接口的飞行器控制系统及其控制方法
CN113253750B (zh) 一种面向扑翼飞行器的多模态控制系统
CN205983222U (zh) 无人机机载第一视角吊舱装置的硬件连接结构
KR101657086B1 (ko) 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템
WO2022062169A1 (zh) 一种未知环境下脑电移动机器人共享控制方法
CN106155082B (zh) 一种基于光流的无人机仿生智能避障方法
CN109906069A (zh) 一种具有医疗监测及反应功能的智能轮椅系统
Shi et al. Brain computer interface system based on monocular vision and motor imagery for UAV indoor space target searching
Dobrea et al. An autonomous UAV system for video monitoring of the quarantine zones
CN108733201A (zh) 基于脑电与眼电的飞行器三维空间目标搜索系统和方法
CN109044753A (zh) 一种人机体感交互导盲机器人及工作方法
CN106527466A (zh) 穿戴型无人机控制系统
CN110687929B (zh) 基于单目视觉与运动想象的飞行器三维空间目标搜索系统
Shi et al. Indoor space target searching based on EEG and EOG for UAV
Zalud et al. CASSANDRA-heterogeneous reconnaissance robotic system for dangerous environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant