CN116483210B - 一种基于深度学习和滑模控制的脑控无人机方法及系统 - Google Patents

一种基于深度学习和滑模控制的脑控无人机方法及系统 Download PDF

Info

Publication number
CN116483210B
CN116483210B CN202310744031.7A CN202310744031A CN116483210B CN 116483210 B CN116483210 B CN 116483210B CN 202310744031 A CN202310744031 A CN 202310744031A CN 116483210 B CN116483210 B CN 116483210B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
time
sliding mode
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310744031.7A
Other languages
English (en)
Other versions
CN116483210A (zh
Inventor
宋军
余锦杰
朱子铭
任乘乘
何舒平
张倩倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202310744031.7A priority Critical patent/CN116483210B/zh
Publication of CN116483210A publication Critical patent/CN116483210A/zh
Application granted granted Critical
Publication of CN116483210B publication Critical patent/CN116483210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Dermatology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Neurosurgery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Neurology (AREA)

Abstract

本发明涉及无人机控制技术领域，尤其涉及一种基于深度学习和滑模控制的脑控无人机方法及系统，通过获取无人机实时视频流，将无人机实时视频流和SSVEP刺激范式结合，通过AR眼镜向用户发送SSVEP刺激，采集用户的脑电信号，使用小波变换对脑电信号进行预处理，生成对应的时频图，使用残差神经网络对时频图进行去噪，得到去噪后的时频图，再使用CNN人工神经网络对去噪后的时频图进行分类，将得出的分类结果与无人机控制命令匹配后输出控制命令，发送给无人机，让使用者可以更加直观地操控无人机运动；使用者通过佩戴AR眼镜接受稳态视觉诱导，摆脱了对传统显示屏的需求，能够随意活动，不需要固定在显示器屏幕前。

Description

一种基于深度学习和滑模控制的脑控无人机方法及系统
技术领域
本发明涉及无人机控制技术领域，尤其涉及一种基于深度学习和滑模控制的脑控无人机方法及系统。
背景技术
脑机接口（Brain Computer Interface，BCI），指在人或动物大脑与外部设备之间创建的直接连接，实现脑与设备的信息交换。
目前大部分的脑机接口技术多使用稳态视觉诱发范式传递大脑信号，从而实现控制无人机的运动。稳态视觉诱发范式要求实验者端坐于显示器屏幕前接收不同频率的刺激源，通过EEG技术提取刺激源倍频的脑电信号，经过电脑转化为对应的无人机控制命令并发送至无人机，实现使用脑机接口技术对无人机的控制。但是该方法不具备随时移动的可能性，并且无法做到对无人机的连续控制。
发明内容
有鉴于此，本发明的目的在于提出一种基于深度学习和滑模控制的脑控无人机方法及系统，以解决无法随时移动对无人机进行控制的问题。
基于上述目的，本发明提供了一种基于深度学习和滑模控制的脑控无人机方法，包括以下步骤：
S1、获取无人机实时视频流，将无人机实时视频流和SSVEP刺激范式结合，通过AR眼镜向用户发送SSVEP刺激；
S2、采集用户的脑电信号，使用小波变换对脑电信号进行预处理，生成对应的时频图；
S3、使用残差神经网络对时频图进行去噪，得到去噪后的时频图；
S4、使用CNN人工神经网络对去噪后的时频图进行分类；
S5、将得出的分类结果与无人机控制命令匹配后输出控制命令，发送给无人机，对无人机进行控制；
S6、实时更新视频流，并返回步骤S1；
对无人机进行控制采用滑模控制，针对无人机匹配扰动设计扰动观测器，估计出无人机所受外部扰动的大小，利用估计扰动改进指数趋近律的方法设计控制律，对无人机受到的扰动进行补偿；
其中滑模控制的系统模型为：;
其中：为系统状态，F和G为适当维数的实矩阵，/>为系统输入，D(k)为系统所受干扰；
定义跟踪误差为：;
其中：为无人机在k时刻待跟踪的理想线速度和角速度，/>为k时刻无人机的线速度，/>为k时刻无人机的角速度；
扰动观测器设置为：；
其中，为扰动的估计值，p(k)为扰动观测器的内部状态变量，I2为二维单位矩阵，K和/>均为系数，其余变量定义如下：；
选择指数趋近律和滑模面分别为：;
其中：为滑模面, />是一个可调的参数，q必须同时满足和/>的条件,/>是一个已知的矩阵，/>扰动观测器估计出的扰动值，/>为给定的滑模面系数，/>;
系统传输误差定义为：；
其中：为当前时刻(k时刻)系统状态，为上一事件触发时刻(ki时刻)的系统状态；
事件触发器设计为：;
产生的时间序列表示各个事件触发的时刻，/>为提前设置的触发阈值，在事件触发策略下，当/>时，
滑模系统控制率为：;
系统状态方程为：。
优选地，本方法还包括：
通过李雅普诺夫方程证明滑模控制系统的稳定性：
。
优选地，步骤S1中，所述AR眼镜使用Unity3D进行软件开发，所述将无人机实时视频流和SSVEP刺激范式结合包括：
将不同刺激频率的SSVEP刺激范式呈现于AR眼镜上，将无人机实时视频流传递到AR眼镜并与SSVEP刺激范式进行画面叠加。
优选地，通过脑机接口采集用户的脑电信号，脑机接口信号采样率为1000Hz。
优选地，步骤S2进一步包括：
每次使用小波变换对脑电信号进行预处理的长度为1秒，共1000个数据，小波变换采用“cuga8”小波处理脑电信号的数据，生成以时间为横坐标，频率为纵坐标的二维小波变换系数矩阵，系数矩阵维度为1000×250；
对小波变换系数矩阵以横坐标进行分割，取矩阵[125,0]到矩阵[825,250]之间的数据形成新矩阵，对新矩阵再次以横坐标进行分割，形成三个250×250的小波变换系数矩阵；
对三个250×250的小波变换系数矩阵的每一个值进行归一化处理，经过图像变换处理生成三个250×250彩色时频图。
优选地，步骤S3进一步包括：
使用残差神经网络对三个250×250彩色时频图进行处理，消除干扰信号造成的图像的杂斑，所述干扰信号包括工频干扰以及眼电信号。
优选地，步骤S4进一步包括：
通过CNN人工神经网络对处理后的三个250×250彩色时频图进行分类，每个图片输出一个分类结果，得到三个分类结果，若三个分类结果属于同一类别，则输出该分类结果，若不属于同一类别，则舍弃该段信号，对下一段信号进行处理。
本说明书还提供一种基于深度学习和滑模控制的脑控无人机系统，包括AR眼镜、脑机接口、信号预处理模块、信号处理模块、命令识别模块和通信模块；
其中AR眼镜用于获取无人机实时视频流，将无人机实时视频流和SSVEP刺激范式结合，向用户发送SSVEP刺激；
所述信号预处理模块用于采集用户的脑电信号，使用小波变换对脑电信号进行预处理，生成对应的时频图；
所述信号处理模块用于使用残差神经网络对时频图进行去噪，得到去噪后的时频图，并使用CNN人工神经网络对去噪后的时频图进行分类；
所述命令识别模块用于将得出的分类结果与无人机控制命令匹配后输出控制命令，发送给无人机，对无人机进行控制。
本发明的有益效果：
（1）本发明相对于传统LED显示器显示的稳态视觉诱导界面能有效减少使用者的视觉疲劳感受。同时，在无人机实时画面的基础上叠加二维虚拟刺激源，让使用者可以更加直观地操控无人机运动；使用者通过佩戴AR眼镜接受稳态视觉诱导，摆脱了对传统显示屏的需求，能够随意活动，不需要固定在显示器屏幕前。
（2）本发明使用小波变换对采集的一维脑电信号进行预处理，对脑电信号预处理后生成的小波系数矩阵仿照图像处理进行切片生成多个彩色时频图，随后使用ResNet人工神经网络对多个彩色时频图以去噪的方式去除工频以及眼电信号等干扰信号造成的图像的杂斑，使用CNN人工神经网络对去噪后的彩色图片进行分类，实现使用图像处理方法对提取脑电信号特征以及分类。将CNN神经网络得到的多个分类结果进行比对，所有分类结果一致则输出控制命令，通过通信模块将控制指令发送到无人机控制芯片，无人机接收控制命令后执行相应的飞行动作，提高脑电信号识别准确率，降低无人机执行错误飞行动作的风险。
（3）本发明对匹配扰动设计扰动观测器，可以迅速的估计出系统所受外部扰动的大小；利用估计扰动改进指数趋近律的方法来设计控制律，在控制律中引入外部扰动的估计值，可以在无人机受到扰动时及时的补偿，保证无人机的稳定性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的脑控无人机方法流程示意图；
图2为本发明实施例的稳态视觉诱发界面；
图3为本发明实施例的信号预处理和信号处理流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如图1所示，本说明书实施例提供一种基于深度学习和滑模控制的脑控无人机方法，包括以下步骤：
S1、获取无人机实时视频流，将无人机实时视频流和SSVEP（稳态视觉诱发）刺激范式结合，通过AR眼镜向用户发送SSVEP刺激；
举例来说，AR眼镜使用Unity3D进行软件开发，将不同刺激频率的SSVEP刺激范式呈现于AR眼镜上，无人机将摄像头拍摄的无人机实时视频流传递到AR眼镜并与SSVEP刺激范式进行画面叠加，实现对无人机位置的实时跟踪以及降低使用者在使用过程中的视觉疲劳。
用户佩戴AR眼镜即可看到无人机摄像头即时画面。同时，使用Unity3D开发增强现实应用，在无人机拍摄的实时画面上叠加12个二维虚拟方块，不同方块代表不同的无人机控制命令，每一个方块以不同频率闪烁。
S2、采集用户的脑电信号，使用小波变换对脑电信号进行预处理，生成对应的时频图，即将一维脑电信号转换成二维图像时频图；
举例来说，通过脑机接口采集用户的脑电信号，脑机接口信号采样率为1000Hz，预处理脑电信号以秒为单位，每次处理脑电信号的长度为1秒，共1000个数据，小波变换采用“cuga8”小波处理脑电信号的数据，生成以时间为横坐标，频率为纵坐标的二维小波变换系数矩阵，系数矩阵维度为1000×250；
对小波变换系数矩阵以横坐标进行分割，取矩阵[125,0]到矩阵[825,250]之间的数据形成新矩阵，对新矩阵再次以横坐标进行分割，形成三个250×250的小波变换系数矩阵；
对三个250×250的小波变换系数矩阵的每一个值进行归一化处理，经过图像变换处理生成三个250×250彩色时频图。
S3、使用残差神经网络对时频图进行去噪，得到去噪后的时频图；
具体包括使用残差神经网络对三个250×250彩色时频图进行处理，消除干扰信号造成的图像的杂斑，所述干扰信号包括工频干扰以及眼电信号等。
S4、使用CNN人工神经网络对去噪后的时频图进行分类；
具体包括通过CNN人工神经网络对处理后的三个250×250彩色时频图进行分类，每个图片输出一个分类结果，得到三个分类结果（a, b, c），对于所述3个分类结果，存在以下两种情况：（1）分类结果a、b、c为同一类别，则输出该分类结果；（2）分类结果a、b、c不为同一类别，则舍弃该段信号，对下一段信号进行分析。
S5、将得出的分类结果与无人机控制命令匹配后输出控制命令，发送给无人机，对无人机进行控制；
S6、实时更新视频流，并返回步骤S1；
对无人机进行控制采用滑模控制，针对无人机匹配扰动设计扰动观测器，估计出无人机所受外部扰动的大小，利用估计扰动改进指数趋近律的方法设计控制律，对无人机受到的扰动进行补偿；
其中滑模控制的系统模型为：；
其中：为系统状态，F和G为适当维数的实矩阵，/>为系统输入，D(k)为系统所受干扰；
定义跟踪误差为：；
其中：为无人机在k时刻待跟踪的理想线速度和角速度，/>为k时刻无人机的线速度，/>为k时刻无人机的角速度；
扰动观测器设置为：
；
其中，为扰动的估计值，p(k)为扰动观测器的内部状态变量，I2为二维单位矩阵，K和/>均为系数，其余变量定义如下：
;
选择指数趋近律和滑模面分别为：
;
其中：为滑模面,/>是一个可调的参数，q必须同时满足和/>的条件，/>是一个已知的矩阵，/>为扰动观测器估计出的扰动值，/>为给定的滑模面系数/>;
系统传输误差定义为：；
其中：为当前时刻(k时刻)系统状态，为上一事件触发时刻(ki时刻)的系统状态，
事件触发器设计为：；
产生的时间序列表示各个事件触发的时刻，/>为提前设置的触发阈值，在事件触发策略下，当/>时，滑模控制率为：;
系统状态方程为：。
针对无人机匹配扰动设计扰动观测器，可以迅速的估计出无人机所受外部扰动的大小；利用估计扰动改进指数趋近律的方法来设计控制律，在控制律中引入外部扰动的估计值，可以在无人机受到扰动时及时的补偿，可以对无人机进行位姿调整，保证无人机在等待命令过程中保持稳定，尽可能减少悬停状态下的位置偏移。
作为一种实施方式，本方法还包括：
通过李雅普诺夫方程证明滑模控制系统的稳定性：
。
利用李雅普诺夫函数理论证明了无人机系统的渐近稳定性。
本说明书实施例还提供一种基于深度学习和滑模控制的脑控无人机系统，包括AR眼镜、脑机接口、信号预处理模块、信号处理模块、命令识别模块和通信模块；
其中AR眼镜用于获取无人机实时视频流，将无人机实时视频流和SSVEP刺激范式结合，向用户发送SSVEP刺激；
信号预处理模块用于采集用户的脑电信号，使用小波变换对脑电信号进行预处理，生成对应的时频图；
信号处理模块用于使用残差神经网络对时频图进行去噪，得到去噪后的时频图，并使用CNN人工神经网络对去噪后的时频图进行分类；
命令识别模块用于将得出的分类结果与无人机控制命令匹配后输出控制命令，发送给无人机，对无人机进行控制。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围（包括权利要求）被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本发明旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习和滑模控制的脑控无人机方法，其特征在于，所述方法包括以下步骤：
S1、获取无人机实时视频流，将无人机实时视频流和SSVEP刺激范式结合，通过AR眼镜向用户发送SSVEP刺激；
S2、采集用户的脑电信号，使用小波变换对脑电信号进行预处理，生成对应的时频图；
S3、使用残差神经网络对时频图进行去噪，得到去噪后的时频图；
S4、使用CNN人工神经网络对去噪后的时频图进行分类；
S5、将得出的分类结果与无人机控制命令匹配后输出控制命令，发送给无人机，对无人机进行控制；
S6、实时更新视频流，并返回步骤S1；
对无人机进行控制采用滑模控制，针对无人机匹配扰动设计扰动观测器，估计出无人机所受外部扰动的大小，利用估计扰动改进指数趋近律的方法设计控制律，对无人机受到的扰动进行补偿；
其中滑模控制的系统模型为：
其中：为系统状态， />和/>为适当维数的实矩阵，/>为系统输入，/>为系统所受干扰；
定义跟踪误差为：
其中：为无人机在/>时刻待跟踪的理想线速度和角速度，/>为时刻无人机的线速度，/>为/>时刻无人机的角速度；
扰动观测器设置为：
其中，为扰动的估计值，/>为扰动观测器的内部状态变量，/>为二维单位矩阵，K和/>均为系数，其余变量定义如下：
选择趋近律和滑模函数分别为：
其中：为滑模函数, />是一个可调的参数，/>必须同时满足 />和的条件，/>是一个已知的矩阵，/>为扰动观测器估计出的扰动值，/>为给定的滑模面系数；
系统传输误差定义为：
其中：为当前时刻即/>时刻的系统状态，/>为上一事件触发时刻即/>时刻的系统状态；
事件触发器设计为：
产生的时间序列表示各个事件触发的时刻，/>为提前设置的触发阈值，在事件触发策略下，当/>时，滑模系统控制率为：
系统状态方程为：
。
2.根据权利要求1所述的基于深度学习和滑模控制的脑控无人机方法，其特征在于，步骤S1中，所述AR眼镜使用Unity3D进行软件开发，所述将无人机实时视频流和SSVEP刺激范式结合包括：
将不同刺激频率的SSVEP刺激范式呈现于AR眼镜上，将无人机实时视频流传递到AR眼镜并与SSVEP刺激范式进行画面叠加。
3.根据权利要求1所述的基于深度学习和滑模控制的脑控无人机方法，其特征在于，通过脑机接口采集用户的脑电信号，脑机接口信号采样率为1000Hz。
4.根据权利要求3所述的基于深度学习和滑模控制的脑控无人机方法，其特征在于，步骤S2进一步包括：
每次使用小波变换对脑电信号进行预处理的长度为1秒，共1000个数据，小波变换采用“cgau8”小波处理脑电信号的数据，生成以时间为横坐标，频率为纵坐标的二维小波变换系数矩阵，系数矩阵维度为1000×250；
对小波变换系数矩阵以横坐标进行分割，取矩阵[125,0]到矩阵[825,250]之间的数据形成新矩阵，对新矩阵再次以横坐标进行分割，形成三个250×250的小波变换系数矩阵；
对三个250×250的小波变换系数矩阵的每一个值进行归一化处理，经过图像变换处理生成三个250×250彩色时频图。
5.根据权利要求4所述的基于深度学习和滑模控制的脑控无人机方法，其特征在于，步骤S3进一步包括：
使用残差神经网络对三个250×250彩色时频图进行处理，消除干扰信号造成的图像的杂斑，所述干扰信号包括工频干扰以及眼电信号。
6.根据权利要求5所述的基于深度学习和滑模控制的脑控无人机方法，其特征在于，步骤S4进一步包括：
通过CNN人工神经网络对处理后的三个250×250彩色时频图进行分类，每个图片输出一个分类结果，得到三个分类结果，若三个分类结果属于同一类别，则输出该分类结果，若不属于同一类别，则舍弃该段信号，对下一段信号进行处理。
7.一种基于深度学习和滑模控制的脑控无人机系统，其特征在于，包括AR眼镜、脑机接口、信号预处理模块、信号处理模块、命令识别模块和通信模块；
所述AR眼镜用于获取无人机实时视频流，将无人机实时视频流和SSVEP刺激范式结合，向用户发送SSVEP刺激；
所述信号预处理模块用于采集用户的脑电信号，使用小波变换对脑电信号进行预处理，生成对应的时频图；
所述信号处理模块用于使用残差神经网络对时频图进行去噪，得到去噪后的时频图，并使用CNN人工神经网络对去噪后的时频图进行分类；
所述命令识别模块用于将得出的分类结果与无人机控制命令匹配后输出控制命令，发送给无人机，对无人机进行控制；
其中，对无人机进行控制采用滑模控制，针对无人机匹配扰动设计扰动观测器，估计出无人机所受外部扰动的大小，利用估计扰动改进指数趋近律的方法设计控制律，对无人机受到的扰动进行补偿；
其中滑模控制的系统模型为：
其中：为系统状态， />和/>为适当维数的实矩阵，/>为系统输入，/>为系统所受干扰；
定义跟踪误差为：
其中：为无人机在/>时刻待跟踪的理想线速度和角速度，/>为时刻无人机的线速度，/>为/>时刻无人机的角速度；
扰动观测器设置为：
其中，为扰动的估计值，/>为扰动观测器的内部状态变量，/>为二维单位矩阵，K和/>均为系数，其余变量定义如下：
选择趋近律和滑模函数分别为：
其中：为滑模函数, />是一个可调的参数，/>必须同时满足 />和的条件，/>是一个已知的矩阵，/>为扰动观测器估计出的扰动值，/>为给定的滑模面系数；
系统传输误差定义为：
其中：为当前时刻即/>时刻的系统状态，/>为上一事件触发时刻即/>时刻的系统状态；
事件触发器设计为：
产生的时间序列表示各个事件触发的时刻，/>为提前设置的触发阈值，在事件触发策略下，当/>时，滑模系统控制率为：
系统状态方程为：
。
CN202310744031.7A 2023-06-25 2023-06-25 一种基于深度学习和滑模控制的脑控无人机方法及系统 Active CN116483210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310744031.7A CN116483210B (zh) 2023-06-25 2023-06-25 一种基于深度学习和滑模控制的脑控无人机方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310744031.7A CN116483210B (zh) 2023-06-25 2023-06-25 一种基于深度学习和滑模控制的脑控无人机方法及系统

Publications (2)

Publication Number Publication Date
CN116483210A CN116483210A (zh) 2023-07-25
CN116483210B true CN116483210B (zh) 2023-09-08

Family

ID=87219935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310744031.7A Active CN116483210B (zh) 2023-06-25 2023-06-25 一种基于深度学习和滑模控制的脑控无人机方法及系统

Country Status (1)

Country Link
CN (1) CN116483210B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115385A2 (en) * 2015-12-28 2017-07-06 Govindarajan Niranjan Chandrika System and method for operating and controlling a hyper configurable humanoid robot to perform multiple applications in various work environments
CN107976902A (zh) * 2017-07-03 2018-05-01 浙江工业大学 一种四旋翼无人机系统的增强型等速趋近律滑模控制方法
CN109325478A (zh) * 2018-11-23 2019-02-12 上海宝冶集团南京建筑有限公司 一种基于bim技术的无人机ar现场观测方法
KR102032067B1 (ko) * 2018-12-05 2019-10-14 세종대학교산학협력단 강화학습 기반 무인 항공기 원격 제어 방법 및 장치
EP3629309A2 (en) * 2018-09-28 2020-04-01 Quoc Luong Drone real-time interactive communications system
CN112114668A (zh) * 2020-09-02 2020-12-22 北京捷安申谋军工科技有限公司 基于数字孪生的ar单兵伴随侦察无人机系统及其侦察方法
CN112364977A (zh) * 2020-10-30 2021-02-12 南京航空航天大学 一种基于脑机接口的运动想象信号的无人机控制方法
CN113009932A (zh) * 2021-03-11 2021-06-22 南京邮电大学 一种基于扰动观测器控制的四旋翼无人机抗干扰控制方法
CN114115313A (zh) * 2021-11-25 2022-03-01 北京邮电大学 基于脑机接口的无人机控制与广域目标检测系统及方法
CN114625007A (zh) * 2022-03-11 2022-06-14 中国科学院长春光学精密机械与物理研究所 一种固定时间内收敛的终端滑模控制方法及装置
CN115050080A (zh) * 2022-07-22 2022-09-13 安徽大学 多无人机协同配送中基于人脸融合的目标识别方法及系统
CN115470418A (zh) * 2022-09-15 2022-12-13 安徽大学 一种基于无人机航拍的排队点推荐方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10945864B2 (en) * 2016-08-17 2021-03-16 Teledyne Scientific & Imaging, Llc System and method for noninvasive identification of cognitive and behavioral goals
US10537737B2 (en) * 2018-03-13 2020-01-21 Honeywell International Inc. Adaptive non-invasive alternating current brain stimulation system and method
KR102164372B1 (ko) * 2020-04-03 2020-10-12 주식회사 파블로항공 소형 고정익 무인항공기의 경로 추종 방법 및 이를 이용한 lgvf 경로 추종 제어기
CN112581590B (zh) * 2020-12-28 2021-06-08 广东工业大学 一种5g安防救援网联的无人机云边端协同控制方法
CN114595975A (zh) * 2022-03-11 2022-06-07 安徽大学 基于深度学习模型的无人机遥感松材线虫病害监测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115385A2 (en) * 2015-12-28 2017-07-06 Govindarajan Niranjan Chandrika System and method for operating and controlling a hyper configurable humanoid robot to perform multiple applications in various work environments
CN107976902A (zh) * 2017-07-03 2018-05-01 浙江工业大学 一种四旋翼无人机系统的增强型等速趋近律滑模控制方法
EP3629309A2 (en) * 2018-09-28 2020-04-01 Quoc Luong Drone real-time interactive communications system
CN109325478A (zh) * 2018-11-23 2019-02-12 上海宝冶集团南京建筑有限公司 一种基于bim技术的无人机ar现场观测方法
KR102032067B1 (ko) * 2018-12-05 2019-10-14 세종대학교산학협력단 강화학습 기반 무인 항공기 원격 제어 방법 및 장치
CN112114668A (zh) * 2020-09-02 2020-12-22 北京捷安申谋军工科技有限公司 基于数字孪生的ar单兵伴随侦察无人机系统及其侦察方法
CN112364977A (zh) * 2020-10-30 2021-02-12 南京航空航天大学 一种基于脑机接口的运动想象信号的无人机控制方法
CN113009932A (zh) * 2021-03-11 2021-06-22 南京邮电大学 一种基于扰动观测器控制的四旋翼无人机抗干扰控制方法
CN114115313A (zh) * 2021-11-25 2022-03-01 北京邮电大学 基于脑机接口的无人机控制与广域目标检测系统及方法
CN114625007A (zh) * 2022-03-11 2022-06-14 中国科学院长春光学精密机械与物理研究所 一种固定时间内收敛的终端滑模控制方法及装置
CN115050080A (zh) * 2022-07-22 2022-09-13 安徽大学 多无人机协同配送中基于人脸融合的目标识别方法及系统
CN115470418A (zh) * 2022-09-15 2022-12-13 安徽大学 一种基于无人机航拍的排队点推荐方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的四旋翼无人机控制系统设计;徐一鸣;李笑;杨凯凯;杨宇;;计算机测量与控制(05);全文 *

Also Published As

Publication number Publication date
CN116483210A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US11366517B2 (en) Human-computer interface using high-speed and accurate tracking of user interactions
Hu et al. 3D separable convolutional neural network for dynamic hand gesture recognition
US10223838B2 (en) Method and system of mobile-device control with a plurality of fixed-gradient focused digital cameras
Filko et al. Emotion recognition system by a neural network based facial expression analysis
CN110633624B (zh) 一种基于多特征融合的机器视觉人体异常行为识别方法
Li et al. Multimodal vigilance estimation with adversarial domain adaptation networks
Dong et al. An on-board monitoring system for driving fatigue and distraction detection
Kumar et al. Facial emotion recognition using subband selective multilevel stationary wavelet gradient transform and fuzzy support vector machine
CN110569918A (zh) 一种样本分类的方法以及相关装置
Gao et al. Adaptive convolutional neural network-based information fusion for facial expression recognition
Tang et al. A hybrid SAE and CNN classifier for motor imagery EEG classification
Wei et al. A novel multi-dimensional features fusion algorithm for the EEG signal recognition of brain's sensorimotor region activated tasks
CN116483210B (zh) 一种基于深度学习和滑模控制的脑控无人机方法及系统
Pan et al. Fatigue detection method for UAV remote pilot based on multi feature fusion
Wagner et al. A sensing architecture for empathetic data systems
Kim et al. Hybrid-BCI smart glasses for controlling electrical devices
CN115169384A (zh) 脑电信号分类模型训练方法、意图识别方法、设备及介质
Saha et al. Deep learning-based eye gaze controlled robotic car
Shashi Kumar et al. Neural network approach for classification of human emotions from EEG signal
Salman et al. Improvement of Eye Tracking Based on Deep Learning Model for General Purpose Applications
Murakami et al. Gaze from Head: Gaze Estimation Without Observing Eye
Anand Implementation and analysis of sentimental analysis on facial expression using haar cascade methods
Ghimire et al. Classification of EEG Motor Imagery Tasks Utilizing 2D Temporal Patterns with Deep Learning.
JP7492951B2 (ja) ユーザ相互作用の高速且つ正確な追跡を使用する人間／コンピュータインターフェース
Wei et al. Usability evaluation of car cockpit based on multiple objective measures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant