CN114003048A - 多目标对象的运动控制方法、装置、终端设备及介质 - Google Patents
多目标对象的运动控制方法、装置、终端设备及介质 Download PDFInfo
- Publication number
- CN114003048A CN114003048A CN202111652430.8A CN202111652430A CN114003048A CN 114003048 A CN114003048 A CN 114003048A CN 202111652430 A CN202111652430 A CN 202111652430A CN 114003048 A CN114003048 A CN 114003048A
- Authority
- CN
- China
- Prior art keywords
- target
- motion control
- target object
- evoked
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000000763 evoking effect Effects 0.000 claims abstract description 136
- 230000000007 visual effect Effects 0.000 claims abstract description 132
- 230000000638 stimulation Effects 0.000 claims abstract description 124
- 238000012545 processing Methods 0.000 claims description 22
- 210000003710 cerebral cortex Anatomy 0.000 claims description 10
- 230000001939 inductive effect Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 3
- 230000004397 blinking Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 239000000126 substance Substances 0.000 description 4
- 208000003464 asthenopia Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种多目标对象的运动控制方法、装置、终端设备以及计算机可读存储介质，该多目标对象的运动控制方法的步骤包括：分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字；基于多个所述目标数字构建对应的多维坐标，并根据所述多维坐标得到运动控制指令；通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制。本发明能够提升基于诱发电位对多目标对象进行控制的控制效率。
Description
技术领域
本发明涉及自动控制领域，尤其是涉及一种多目标对象的运动控制方法、装置、终端设备以及计算机可读存储介质。
背景技术
脑机接口（Brain-Computer Interface，BCI）用于实现人脑或动物脑与计算机或其他电子设备之间的信息交互。近年来，脑机接口技术飞速发展，在生物医学，康复治疗和人工智能等领域具有重要研究意义和应用潜力。人脑或动物脑的皮层细胞存在着频繁的自发电活动，通过脑电极记录到的电位信息反应了大脑组织的电活动以及大脑的功能状态。目前，脑机接口研究中常用的视觉诱发脑神经信号（SSVEP）是指被试者接收到一定频率的图形闪烁刺激时大脑枕叶视觉区随之产生与刺激频率相关的脑电信号响应，采集该被试者的脑电信号进行特征提取与分析从而识别被试者意图。随着虚拟现实（Virtual Reality,VR）技术的飞速发展，将BCI结合VR技术的研究受到越来越多的重视并在多领域进行应用。
目前静态SSVEP视觉刺激基本是以四目标或九目标刺激为主，控制指令简单，且多目标刺激导致用户视觉疲劳，进而使得诱发信号可靠性降低。另外，基于视觉、听觉或者运动想象等混合脑机接口的控制方式较为复杂，存在着所需信号采集设备通道多，体积大，无法轻巧便利使用等问题。
综上，现有技术中基于静态SSVEP的控制方式存在控制精准度不高且操作复杂的问题，进而导致控制效率低下。
发明内容
本发明的主要目的在于提供一种多目标对象的运动控制方法、装置、终端设备以及计算机可读存储介质，旨在提升基于诱发电位对多目标对象进行控制的控制效率。
为实现上述目的，本发明提供一种多目标对象的运动控制方法，所述展示方法包括：
S1、分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字；
S2、基于多个所述目标数字构建对应的多维坐标，并根据所述多维坐标得到运动控制指令；
S3、通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制。
可选地，在所述分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位的步骤之前，还包括：
接收所述目标对象的状态信息，并基于所述状态信息判断所述目标对象的当前状态是为预设目标状态；
若所述目标对象的当前状态不为所述预设目标状态，则基于所述状态信息执行所述步骤S1、所述步骤S2和所述步骤S3。
可选地，所述多目标对象的运动控制方法，还包括：
判断所述运动控制指令是否为预设的第一结束控制指令；
若是，则基于所述第一结束控制指令结束对所述多目标对象的运动控制。
可选地，所述分别基于各个视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字的步骤，包括：
分别通过各个所述视觉刺激界面中的任意一个诱发图案对用户进行多次视觉刺激得到基于大脑皮层的多个诱发电位；
分别针对多个诱发电位进行信号处理得到对应的目标数字。
可选地，所述多目标对象的运动控制方法，还包括：
设置各个所述视觉刺激界面中的多个所述诱发图案的闪烁频率和闪烁时长，以根据多个闪烁的所述诱发图案得到对应的所述诱发电位。
可选地，所述根据所述多维坐标得到运动控制指令的步骤，包括：
根据所述多维坐标分别得到控制对象指令、运动方向指令和运动速度指令；
基于所述控制对象指令、所述运动方向指令和所述运动速度指令得到运动控制指令。
可选地，在所述通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制的步骤之后，还包括：
判断是否接收到基于所述视觉刺激界面的第二结束控制指令，并得到判断结果，进而根据所述判断结果确定是否结束针对多个所述目标对象的运动控制。
为实现上述目的，本发明还提供一种多目标对象的运动控制装置，所述多目标对象的运动控制装置，包括：
获取模块，用于分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字；
构建模块，基于多个所述目标数字构建对应的多维坐标，并根据所述多维坐标得到运动控制指令；
运动控制模块，通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制。
其中，本发明多目标对象的运动控制装置的各个功能模块各自在运行时均实现如上所述的多目标对象的运动控制方法的步骤。
为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的多目标对象的运动控制程序，所述多目标对象的运动控制程序被所述处理器执行时实现如上所述的多目标对象的运动控制方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有多目标对象的运动控制程序，所述多目标对象的运动控制程序被处理器执行时实现如上所述的多目标对象的运动控制方法的步骤。
此外，为实现上述目的，本发明还提供计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的多目标对象的运动控制方法的步骤。
本发明提供一种多目标对象的运动控制方法、装置、终端设备、计算机可读存储介质以及计算机程序产品，通过分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字；基于多个所述目标数字构建对应的多维坐标，并根据所述多维坐标得到运动控制指令；通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制。
相比于现有技术中基本四目标或九目标的静态SSVEP的目标控制系统，本发明通过多个视觉刺激界面依次对被试者进行视觉刺激得到表征被试者控制意图的运动控制指令，通过该运动控制指令对多目标对象进行控制，实现了针对多目标对象的灵活控制，且控制效率高、控制精确度高，且操作简便，同时避免了由于静态视觉刺激所导致的被试者的视觉疲劳，使得诱发信号可靠性降低的问题。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明多目标对象的运动控制方法一实施例涉及到的流程示意图；
图3为本发明多目标对象的运动控制方法一实施例涉及到的运动控制系统示意图；
图4为本发明多目标对象的运动控制方法一实施例涉及到的动态视觉诱发模块示意图；
图5为本发明多目标对象的运动控制方法一实施例涉及到的多个视觉刺激界面示意图；
图6为本发明多目标对象的运动控制方法一实施例涉及到的VR场景控制流程示意图；
图7为本发明多目标对象的运动控制方法一实施例涉及到的数据采集与分析流程示意图；
图8为本发明多目标对象的运动控制装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
需要说明的是，本发明实施例终端设备可以是用于对多目标进行运动控制的设备，该终端设备具体可以VR设备等。
如图1所示，该设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及多目标对象的运动控制程序。操作系统是管理和控制设备硬件和软件资源的程序，支持多目标对象的运动控制程序以及其它软件或程序的运行。在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与服务器建立通信连接；而处理器1001可以用于调用存储器1005中存储的多目标对象的运动控制程序，并执行以下操作：
S1、分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字；
S2、基于多个所述目标数字构建对应的多维坐标，并根据所述多维坐标得到运动控制指令；
S3、通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制。
进一步地，在所述分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位的步骤之前，处理器1001还可以用于调用存储器1005中存储的多目标对象的运动控制程序，还执行以下操作：
接收所述目标对象的状态信息，并基于所述状态信息判断所述目标对象的当前状态是为预设目标状态；
若所述目标对象的当前状态不为所述预设目标状态，则基于所述状态信息执行所述步骤S1、所述步骤S2和所述步骤S3。
进一步地，处理器1001还可以用于调用存储器1005中存储的多目标对象的运动控制程序，执行以下操作：
判断所述运动控制指令是否为预设的第一结束控制指令；
若是，则基于所述第一结束控制指令结束对所述多目标对象的运动控制。
进一步地，处理器1001还可以用于调用存储器1005中存储的多目标对象的运动控制程序，执行以下操作：
分别通过各个所述视觉刺激界面中的任意一个诱发图案对用户进行多次视觉刺激得到基于大脑皮层的多个诱发电位；
分别针对多个诱发电位进行信号处理得到对应的目标数字。
进一步地，处理器1001还可以用于调用存储器1005中存储的多目标对象的运动控制程序，执行以下操作：
设置各个所述视觉刺激界面中的多个所述诱发图案的闪烁频率和闪烁时长，以根据多个闪烁的所述诱发图案得到对应的所述诱发电位。
进一步地，处理器1001还可以用于调用存储器1005中存储的多目标对象的运动控制程序，还执行以下操作：
根据所述多维坐标分别得到控制对象指令、运动方向指令和运动速度指令；
基于所述控制对象指令、所述运动方向指令和所述运动速度指令得到运动控制指令。
进一步地，在所述通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制的步骤之后，处理器1001还可以用于调用存储器1005中存储的多目标对象的运动控制程序，还执行以下操作：
判断是否接收到基于所述视觉刺激界面的第二结束控制指令，并得到判断结果，进而根据所述判断结果确定是否结束针对多个所述目标对象的运动控制。
参照图2，图2为本发明多目标对象的运动控制方法第一实施例的流程示意图。
在本实施例中，提供了多目标对象的运动控制方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以不同于此处的顺序执行所示出或描述的步骤。
步骤S10，分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字；
需要说明的是，在本实施例中，提供了一种基于动态视觉诱发的结合VR和BCI接口的多目标对象运动控制系统，如图1所示的运动控制系统示意图，该运动控制系统包括：服务端与目标端，该服务端包括基于VR设备的视觉刺激模块、脑电信号采集模块和脑电信号数据处理模块，基于VR设备的视觉刺激模块包括VR头戴式显示设备和VR场景中的视觉刺激界面，该视觉刺激界面中包含了一个控制目标和多个诱发图案，视觉刺激模块与被使者头部相连接，以对用户进行视觉刺激，并通过脑电信号采集模块采集用户大脑皮层在受到视觉刺激时所产生的诱发电位。另外，在本实施例中可以通过集成unity开发软件的工作站在VR设备中建立目标对象的运动场景模型，工作站与外界目标对象通过UDP协议进行数据交互，目标对象将运动状态数据实时传回工作站，并在工作站的VR场景中同步运动状态数据。
终端设备通过各个视觉刺激界面中任意一个诱发图案对用户进行多次视觉刺激，并在每次视觉刺激后采集被试者大脑皮层的诱发电位，并将多个该诱发电位传输至脑电信号处理模块，进而通过脑电信号处理模块对多个诱发电位进行处理得到多个目标数字。
具体地，例如，如图4所示的动态视觉诱发模块示意图，在本实施例中可在VR场景中设置三个视觉刺激界面，每个视觉刺激界面中都包含了一个控制目标和四个诱发图案，四个诱发图案可分别位于控制目标的上方、下方、左方和右方，此种在视觉中较为均衡，可减少控制目标同步运动过程对被试者的视觉干扰，并且，在四个诱发图案都显示有坐标向量，以表示当前目标对象的运动状态，以实现对目标状态的实时跟踪。
进一步地，本发明多目标对象的运动控制方法，还包括：
步骤S40，设置各个所述视觉刺激界面中的多个所述诱发图案的闪烁频率和闪烁时长，以根据多个闪烁的所述诱发图案得到对应的所述诱发电位。
终端设备在通过各个所述视觉刺激界面中的任意一个诱发图案对用户进行多次视觉刺激之前，需要预先设置多个诱发图案的闪烁频率和闪烁时长，以通过规律闪烁的诱发图案对被试者进行视觉刺激得到诱发电位。
需要说明的是，在本实施例中，各个视觉刺激界面中的多个诱发图案都可按照相同的闪烁频率和闪烁时长进行闪烁，如，可将闪烁时长设置为4秒，闪烁频率设置为5秒一次。应当理解的是，基于实际应用的不同设计需要，在其它不同的可行实施方式当中，可以将诱发图案的闪烁方式设置为与本实施例不相同的闪烁频率和闪烁时长，本发明多目标对象的运动控制方法并不针对多个诱发图案的闪烁方式做具体限定，只要能够通过该诱发图案对被试者产生视觉刺激即可。
进一步地，在上述步骤S10中，“分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字”，可以包括：
步骤S101，分别通过各个所述视觉刺激界面中的任意一个诱发图案对用户进行多次视觉刺激得到基于大脑皮层的多个诱发电位；
步骤S102，分别针对多个诱发电位进行信号处理得到对应的目标数字。
需要说明的是，在本实施例中，如图4所示的动态视觉诱发模块示意图，在各个视觉刺激界面中都包含了一个控制目标和分别位于控制目标上方、下方、左方和右方的四个诱发图案，四个诱发图案中都有一个三维坐标，该三位坐标代表了目标端中的目标对象的运动状态。
具体地，例如，各个诱发图案中都含有三坐标显示数字，第一坐标表示所选目标对象，第一坐标可以包括：0、1、2、3和4，其中，“1”表示1号小车、“2”代表2号小车、“3”代表3号小飞机和“4”代表4号小飞机；第二坐标可以包括0、1、2、3和4，其中，“1”、“2”、“3”和“4”分别代表前进，后退，左转，右转四个方向；第三坐标可以包括0、1、2、3和4，其中，“1”、“2”、“3”和“4”分别代表第一运动速度，第二运动速度，第三运动速度，第四运动速度，而三坐标中的“0”代表了初始状态。
需要说明的是，在本实施例中，在一次控制试验中，在通过第一视觉刺激界面对被试者进行视觉刺激后，通过脑电信号采集模块采集被试者大脑皮层产生的诱发电位，并通过脑电信号数据处理模块对该诱发电位进行数据处理得到对应的目标数字。
具体地，例如，如图5所示的多个视觉刺激界面示意图，终端设备在通过第一视觉刺激界面中四个诱发图案的闪烁对被试者进行视觉刺激时，获取到的目标数据可能为0、1、2、3和4中的任意一个，其中，“0”表示在该次闪烁中被试者未注视任何诱发目标，“1”表示在该次闪烁中被试者集中精力注意于上方的诱发图案，“2”表示在该次闪烁中被试者集中精力注意于左方的诱发图案，“3”表示在该次闪烁中被试者集中精力注意于右方的诱发图案，4表示在该次闪烁中被试者精力注意于下方的诱发图案。在第一视觉刺激界面中的上方的诱发图案代表1号小车、左方的诱发图案代表2号小车、右方的诱发图案代表3号小飞机以及下方的诱发图案代表4号小飞机，可见，在本实施例中可实现对4个目标对象的运动控制。
进而，终端设备在通过第二视觉刺激界面中四个诱发图案的闪烁对被试者进行视觉刺激时，获取到的目标数据可能为1、2、3和4中的其中一个，同样的，“1”表示在该次闪烁中被试者集中精力注意于上方的诱发图案，“2”表示在该次闪烁中被试者集中精力注意于左方的诱发图案，“3”表示在该次闪烁中被试者集中精力注意于右方的诱发图案，4表示在该次闪烁中被试者精力注意于下方的诱发图案，在第二视觉刺激界面中获取到的目标数字可能为1、2、3和4中的其中一个，即，此时第二坐标可以包括1、2、3和4中任意一个，其中，“1”、“2”、“3”和“4”分别代表前进，后退，左转，右转四个方向。比如，若被试者集中精力注意于上方的诱发图案，终端设备将通过脑电信号数据处理模块获取到此时的目标数字“1”，进而解析到被试者的意图为控制目标对象向前运动。
另外，终端设备在通过第三视觉刺激界面中四个诱发图案的闪烁对被试者进行视觉刺激时，获取到的目标数字可能为1、2、3和4中的其中一个，即，此时第三坐标可以包括0、1、2、3和4中任意一个，其中，“1”、“2”、“3”和“4”分别代表第一运动速度，第二运动速度，第三运动速度，第四运动速度。比如，若被试者集中精力注意于下方的诱发图案，终端设备将通过脑电信号数据处理模块获取到此时的目标数字“4”，进而解析到被试者的控制意图为控制目标对象以第四运动速度运动。最终，在第一视觉刺激界面、第二视觉刺激界面和第三视觉刺激界面依次完成三次闪烁完成后将得到代表被试者控制意图的三坐标。
需要说明的是，在本实施例中，在第一视觉刺激界面闪烁完成后根据脑电信号采集模块与脑电信号数据处理模块得到代表用户意图的第一坐标，并在第二视觉刺激界面中更新该第一坐标；在第二视觉刺激界面闪烁完成后根据脑电信号采集模块与脑电信号数据处理模块得到代表用户意图的第二坐标，并在第三视觉刺激界面中更新该第二坐标，以实现目标对象的运动数据的同步更新，提高了用户体验。比如，若在三次闪烁完成后得到的三坐标为（1，1，1），意味着控制1号小车以第一运动速度向前运动。另外，在本实施例中的脑电信号数据处理模块可采用算法程序，如典型相关分析对诱发电位进行信号处理，以得到对应的目标数字。
具体地，例如，终端设备可采用典型相关分析（canonical correlationanalysis，CCA）分别在两组变量中提取有代表性的两个综合变量（分别为两个变量组中各变量的线性组合），进而利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。假设将多维的X和Y都用线性变换为一维的X’和Y’，可以得到
其中，T表示转置，由此能够得到CCA的优化目标是最大化ρ(X′,Y′)得到对应的投影向量a和b，即
其中，arg为变元，即argument（自变量）的缩写。
在投影前，一般会把原始数据进行标准化，得到均值为0而方差为1的数据X和Y，即
其中，E表示期望，D表示方差，cov表示协方差。
由X、Y均值为0的条件，可以得到
因此，可以将优化目标改写成如下形式
其中，S XX a为X和Xa的协方差，S YY b为Y和Yb的协方差，S XY b为X和Yb的协方差，a和b分别为X和Y的线性系数向量。
具体算法流程为：输入各为m个样本X和Y，其中X和Y的维度都大于1，进而输出X和Y的相关系数ρ以及X和Y的线性系数向量a和b。
具体地，例如，计算S XX，S YY，以及Y和X的协方差S YX=SxyT，进而计算矩阵
其中，S XX为X的方差，S YY为Y的方差，S XY为X和Y的协方差。
进而对矩阵M进行奇异值分解得到最大的奇异值ρ和最大奇异值对应的奇异向量，最终计算X和Y的线性系数向量a和b。总的来说，终端设备在第一视觉刺激界面闪烁完成后根据算法程序得到表征被试者控制目标对象意图的第一目标数字，在第二视觉刺激界面闪烁完成后根据该算法程序得到表征被试者控制目标对象运动方向意图的第二目标数字，在第三视觉刺激界面闪烁完成后根据所述算法程序得到表征被试者选择控制目标对象运动速度意图的第三目标数字。
进一步地，在上述步骤S10，“分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位的”步骤之前，还包括：
步骤S50，接收所述目标对象的状态信息，并基于所述状态信息判断所述目标对象的状态是为预设的目标状态；
步骤S60，若所述目标对象的状态未达到所述预设目标状态，则基于所述状态信息执行所述步骤S1、所述步骤S2和所述步骤S3。
需要说明的是，在本实施例中，目标对象的状态信息包括目标对象的位置坐标信息和运动信息（例如加速度和角速度信息等），而预设状态信息为预设的运动轨迹。
终端设备通过各个所述视觉刺激界面中任意一个所述诱发图案对被试者进行视觉刺激之前，需要预先获取目标端的目标对象的坐标信息和运动信息等状态信息，进而基于目标对象的状态信息确定目标对象当前的运动轨迹是否为预设的运动轨迹。若是判断到目标对象的当前状态未达到预设目标状态，则终端设备将进行动态视觉诱发，控制目标对象的运动，直至目标对象的运动状符合预设目标状态。
需要说明的是，在本实施例中，如图6所示的VR场景控制流程示意图，在对被试进行视觉刺激之前，VR设备需要预先初始化控制系统场景，包括初始化各个视觉刺激界面中的控制目标以及位于控制目标上、下、左和右的四个诱发图案。比如，服务端接收目标端中的目标对象的状态信息，并判断目标对象的状态信息是否为初始运动状态，若判断到当前状态信息不是初始运动状态，服务端将发送初始运动状态指令至目标端，使得目标端中的目标对象的状态信息为初始化状态。进而，服务端接收目标端查询目标对象的状态信息，确认可以接收到目标对象的状态信息，根据目标对象的状态信息更新VR环境场景信息。在完成了上述操作之后，终端设备将判断目标对象的当前状态是否达到预设目标状态。
具体地，例如，相对于预设目标状态，若是终端设备通过服务端判断到1号小车需要变更运动方向，则直接进行通过第二视觉刺激界面对被试者进行视觉刺激，此时在VR场景中的初始三坐标为（1，0，0），又如，若是判断到2号小车需要在前进方向上变更运动速度，则进行直接通过第三视觉刺激界面对被试者进行视觉刺激，此时的初始三坐标则为（2，1，0），再如，若是判断当前需要重新选择目标对象，则通过第一视觉刺激界面对被试者进行视觉刺激，此时的初始三坐标则为（0，0，0）。若是判断到目标对象的状态信息为预设目标状态，则结束此次对目标对象的控制。在本实施例中终端设备通过服务端实时获取目标端中目标对象的状态信息，进而更新VR场景中的三坐标，实现了目标对象的实时跟踪。此种用户意图跟随的虚拟场景使得用户体验感更具有可信性和交互性。
进一步地，本发明多目标对象的运动控制方法，还包括：
步骤S20，基于多个所述目标数字构建对应的多维坐标，并根据所述多维坐标得到运动控制指令；
终端设备在通过VR设备中的三个视觉刺激界面依次对用户进行视觉刺激，并得到对应的三个目标数字之后，将根据三个目标数字构成一个三维坐标，其中，三位坐标包括第一坐标、第二坐标和第三坐标，进而根据该三维坐标生成控制指令，以通过该控制指令对目标端中的任一个目标对象进行运动控制。
具体地，例如，如图7所示的数据采集与分析流程示意图，终端设备在通过脑电信号采集模块采集到用户大脑皮层的诱发电位后，将通过脑电信号数据处理模块对诱导电位进行信号处理得到代表被试者控制意图的多个目标数字，并基于多个该目标数字构成三维坐标，进而基于该三维坐标生成运动控制指令。
需要说明的是，在本实施例中，终端设备基于脑电信号采集模块和脑电信号数据处理模块最终得到与被试者控制意图一致的运动控制指令，实现了由诱发电位到控制指令的实时转化，提升了针对目标对象进行运动控制的效率。
步骤S30，通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制。
终端设备在通过服务端VR设备中的三维坐标得到控制指令后，将该控制指令发送至目标端，进而控制该目标端中任一个目标对象进行运动控制。
需要说明的是，在本实施例中，由于在第一视觉刺激界面中，控制目标上方的诱发图案代表1号小车、左方的诱发图案代表2号小车、右方的诱发图案代表3号小飞机以及下方的诱发图案代表4号小飞机，可见，在本实施例中可实现对4个目标对象的运动控制。被试者可集中注意力注视其中一个诱发图案，终端设备将通过服务端达到与被试者控制意图一致的目标数字1、2、3或4，其中，“1”表示在该次闪烁中被试者将控制1号小车进行运动，“2”表示在该次闪烁中被试者将控制2号小车进行运动，“3”表示在该次闪烁中被试者将控制3号小飞机进行运动，4表示在该次闪烁中被试者将控制4号小飞机进行运动。在本实施例中，被试者可通过VR环境沉浸式的对多目标对象进行复杂的运动控制，包括运动方向和运动速度，可见，本发明提出了一种针对多目标的高效的控制策略，大大提升了控制效率和控制准确性和控制实时性。
进一步地，在上述步骤S30中，“根据所述多维坐标得到运动控制指令”，可以包括：
步骤S301，根据所述多维坐标分别得到控制对象指令、运动方向指令和运动速度指令；
步骤S302，基于所述控制对象指令、所述运动方向指令和所述运动速度指令得到运动控制指令。
需要说明的是，在本实施例中，由于三维坐标中包含第一坐标、第二坐标和第三坐标，其中，第一坐标表征目标对象、第二坐标表征目标对象的运动方向和第三坐标表征目标对象的运动速度，因此终端设备在获取到与被试者控制意图一致的三维坐标后，将进一步得到与被试者控制意图一致的运动控制指令，进而根据该运动控制指令对相应的目标对象进行控制。被试者可在第一视觉刺激界面中任意选择一个诱发图案，即被试者可任意选择一个目标对象进行控制。若要进行下一个目标对象的运动控制，则需要在结束一轮视觉刺激（3个视觉刺激界面的依次闪烁刺激）后进行新的目标对象的选择。在本实施例中实现了对多目标对象的灵活控制。
在本实施例中，终端设备通过各个所述视觉刺激界面中任意一个所述诱发图案对被试者进行视觉刺激之前，需要预先获取目标端的目标对象的坐标信息和运动信息等状态信息，进而基于目标对象的状态信息确定目标对象当前的运动轨迹是否为预设的运动轨迹。若是判断到目标对象的当前状态未达到预设目标状态，则终端设备将进行动态视觉诱发，控制目标对象的运动，直至目标对象的运动状符合预设目标状态。终端设备在通过各个所述视觉刺激界面中的任意一个诱发图案对用户进行多次视觉刺激之前，需要预先设置多个诱发图案的闪烁频率和闪烁时长，以通过规律闪烁的诱发图案对被试者进行视觉刺激得到诱发电位。终端设备通过各个视觉刺激界面中任意一个诱发图案对用户进行多次视觉刺激，并在每次视觉刺激后采集被试者大脑皮层的诱发电位，并将多个该诱发电位传输至脑电信号处理模块，进而通过脑电信号处理模块对多个诱发电位进行处理得到多个目标数字。终端设备在通过VR设备中的三个视觉刺激界面依次对用户进行视觉刺激，并得到对应的三个目标数字之后，将根据三个目标数字构成一个三维坐标，其中，三位坐标包括第一坐标、第二坐标和第三坐标，进而根据该三维坐标生成控制指令，以通过该控制指令对目标端中的任一个目标对象进行运动控制。终端设备在通过服务端VR设备中的三维坐标得到控制指令后，将该控制指令发送至目标端，进而控制该目标端中任一个目标对象进行运动控制。
相比于现有技术中基本四目标或九目标的静态SSVEP的目标控制系统，其控制精准度不高、操作复杂且控制效率低下。而本发明则是提出了基于动态视觉诱发的VR结合BCI接口的多目标智能控制方法，通过多个视觉刺激界面依次对被试者进行视觉刺激得到表征被试者控制意图的运动控制指令，通过该运动控制指令对多目标对象进行控制，且实时获取和更新目标对象的运动状态信息，实现了针对多目标对象的灵活控制，且控制效率高、控制精确度高，且操作简便，同时避免了由于静态视觉刺激所导致的被试者的视觉疲劳，使得诱发信号可靠性降低的问题。
进一步地，基于上述本发明多目标对象的运动控制方法的第一实施例，提出本发明多目标对象的运动控制方法的第二实施例。
本实施例与上述第一实施例之间的主要区别在于，在上述步骤S20，“根据所述多维坐标得到运动控制指令”之后，还可以包括：
步骤a，判断所述运动控制指令是否为预设的第一结束控制指令；
步骤b，若是，则基于所述第一结束控制指令结束对所述多目标对象的运动控制。
需要说明的是，在本实施例中，第一结束控制指令所对应的三维坐标为（0，0，0），即被试者在三个视觉刺激界面中都未集中注意力注视任何一个诱发图案。
终端设备在通过服务端得到运动控制指令后，需要进一步判断该运动控制指令对应的三维坐标是否为（0，0，0），只有在判断到此时的三维坐标不为（0，0，0）时才会基于该运动控制指令对相应的目标对象进行运动控制，否则，将直接结束对当前目标对象的运动控制。
进一步地，在上述步骤S30，“通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制”之后，还包括：
步骤c，判断是否接收到基于所述视觉刺激界面的第二结束控制指令，并得到判断结果，进而根据所述判断结果确定是否结束针对多个所述目标对象的运动控制。
需要说明的是，在本实施例中，第二结束控制指令时通过被试者集中注意力注视第三视觉刺激界面所触发的，即在第一视觉刺激界面、第二视觉刺激界面和第三视觉刺激界面依次对被试者进行视觉刺激得到三坐标后，第三视觉刺激界面中的多个诱发图案将再闪烁一次，即第四次闪烁，终端设备将通过服务端获取到此次闪烁后的目标数字。
具体地，例如，在第四次闪烁过程中，被试者注视任一诱发图案所得到的目标数据皆表示继续控制，进而触发继续控制提示开关，并在闪烁结束后由被试者确认开始下一次运动控制；相反的，在被试者闭目放松状态下所得到的目标数字为0，表示被试者需要结束控制，则触发结束控制提示开关，并闪烁结束后由被试者进一步确认结束实验。
在本实施例中，提出了两种结束控制的方式，一方面，被试者可以在三个视觉刺激界面中的诱发图案在闪烁时不注视任何一个诱发图案，此时终端设备通过服务端得到的三坐标为（0，0，0），即第一结束控制指令。另一方面，被试者可以在第四次闪烁时不注视当前视觉刺激界面中的任何一个诱发图案，此时终端设备获取到的目标数字为0，即第二结束控制指令。因此，本发明提出了灵活的结束控制方式，能够提升针对多目标的控制效率。
此外，本发明实施例还提出一种多目标对象的运动控制装置，参照图8，图8为本发明多目标对象的运动控制装置一实施例的功能模块示意图。如图8所示，本发明多目标对象的运动控制装置，包括：
获取模块10，用于分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字；
构建模块20，基于多个所述目标数字构建对应的多维坐标，并根据所述多维坐标得到运动控制指令；
运动控制模块30，通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制。
进一步地，本发明多目标对象的运动控制装置，还包括：
接收模块，用于接收所述目标对象的状态信息，并基于所述状态信息判断所述目标对象的当前状态是为预设目标状态；
控制模块，用于若所述目标对象的当前状态不为所述预设目标状态，则基于所述状态信息对所述目标对象进行运动控制。
进一步地，本发明多目标对象的运动控制装置，还包括：
判断模块，用于判断所述运动控制指令是否为预设的第一结束控制指令；
结束控制模块，用于若是，则基于所述第一结束控制指令结束对所述多目标对象的运动控制。
进一步地，所述获取模块10，包括：
视觉刺激单元，用于分别通过各个所述视觉刺激界面中的任意一个诱发图案对用户进行多次视觉刺激得到基于大脑皮层的多个诱发电位；
信号处理单元，用于分别针对多个诱发电位进行信号处理得到对应的目标数字。
进一步地，本发明多目标对象的运动控制装置，还包括：
设置模块，用于设置各个所述视觉刺激界面中的多个所述诱发图案的闪烁频率和闪烁时长，以根据多个闪烁的所述诱发图案得到对应的所述诱发电位。
进一步地，所述运动控制模块30，包括：
第一获取单元，用于根据所述多维坐标分别得到控制对象指令、运动方向指令和运动速度指令；
第二获取单元，用于基于所述控制对象指令、所述运动方向指令和所述运动速度指令得到运动控制指令。
进一步地，本发明多目标对象的运动控制装置，还包括：
判断模块，用于判断是否接收到基于所述视觉刺激界面的第二结束控制指令，并得到判断结果，进而根据所述判断结果确定是否结束针对多个所述目标对象的运动控制。
本发明多目标对象的运动控制装置的各个功能模块的具体实施方式与上述多目标对象的运动控制方法各实施例基本相同，在此不做赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有多目标对象的运动控制程序，所述多目标对象的运动控制程序被处理器执行时实现如上所述的多目标对象的运动控制方法的步骤。
本发明多目标对象的运动控制装置和计算机可读存储介质的各实施例，均可参照本发明多目标对象的运动控制方法各个实施例，此处不再赘述。
此外，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如以上多目标对象的运动控制方法的任一项实施例所述的多目标对象的运动控制方法的步骤。
本发明计算机程序产品的具体实施例与上述多目标对象的运动控制方法的各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是VR设备等）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种多目标对象的运动控制方法，其特征在于，多目标对象的运动控制方法应用于多目标对象的运动控制系统，所述运动控制系统包括：服务端和目标端，所述服务端与所述目标端相连接，其中，所述服务端包括多个视觉刺激界面，各个所述视觉刺激界面中包含多个诱发图案，所述目标端包括多个目标对象；
所述多目标对象的运动控制方法包括以下步骤：
S1、分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字；
S2、基于多个所述目标数字构建对应的多维坐标，并根据所述多维坐标得到运动控制指令；
S3、通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制。
2.如权利要求1所述的多目标对象的运动控制方法，其特征在于，在所述分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位的步骤之前，还包括：
获取所述目标对象的状态信息，并基于所述状态信息判断所述目标对象的当前状态是否为预设目标状态；
若所述目标对象的当前状态不为所述预设目标状态，则基于所述状态信息执行所述步骤S1、所述步骤S2和所述步骤S3。
3.如权利要求1所述的多目标对象的运动控制方法，其特征在于，所述多目标对象的运动控制方法，还包括：
判断所述运动控制指令是否为预设的第一结束控制指令；
若是，则基于所述第一结束控制指令结束对所述目标对象的运动控制。
4.如权利要求1所述的多目标对象的运动控制方法，其特征在于，所述分别基于各个视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字的步骤，包括：
分别通过各个所述视觉刺激界面中的任意一个诱发图案对被试者进行多次视觉刺激得到基于大脑皮层的多个诱发电位；
分别针对多个诱发电位进行信号处理得到对应的目标数字。
5.如权利要求1或4所述的多目标对象的运动控制方法，其特征在于，所述多目标对象的运动控制方法，还包括：
设置各个所述视觉刺激界面中的多个所述诱发图案的闪烁频率和闪烁时长，以根据多个闪烁的所述诱发图案得到对应的所述诱发电位。
6.如权利要求1所述的多目标对象的运动控制方法，其特征在于，所述根据所述多维坐标得到运动控制指令的步骤，包括：
根据所述多维坐标分别得到控制对象指令、运动方向指令和运动速度指令；
基于所述控制对象指令、所述运动方向指令和所述运动速度指令得到运动控制指令。
7.如权利要求1所述的多目标对象的运动控制方法，其特征在于，在所述通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制的步骤之后，还包括：
判断是否接收到基于所述视觉刺激界面的第二结束控制指令，并得到判断结果，进而根据所述判断结果确定是否结束针对多个所述目标对象的运动控制。
8.一种多目标对象的运动控制装置，其特征在于，所述多目标对象的运动控制装置应用于多目标对象的运动控制系统，所述运动控制系统包括：服务端和目标端，所述服务端与目所述标端相连接，其中，所述服务端包括多个视觉刺激界面，各个所述视觉刺激界面中包含多个诱发图案，所述目标端包括多个目标对象；
所述多目标对象的运动控制装置包括：
获取模块，用于分别基于各个所述视觉刺激界面中任意一个所述诱发图案获取多个诱发电位，并基于多个所述诱发电位得到对应的目标数字；
构建模块，基于多个所述目标数字构建对应的多维坐标，并根据所述多维坐标得到运动控制指令；
运动控制模块，通过所述运动控制指令对所述目标端中任意一个所述目标对象进行运动控制。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的多目标对象的运动控制程序，所述多目标对象的运动控制程序被所述处理器执行时实现如权利要求1至7中任一项所述的多目标对象的运动控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多目标对象的运动控制程序，所述多目标对象的运动控制程序被处理器执行时实现如权利要求1至7中任一项所述的多目标对象的运动控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111652430.8A CN114003048B (zh) | 2021-12-31 | 2021-12-31 | 多目标对象的运动控制方法、装置、终端设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111652430.8A CN114003048B (zh) | 2021-12-31 | 2021-12-31 | 多目标对象的运动控制方法、装置、终端设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114003048A true CN114003048A (zh) | 2022-02-01 |
| CN114003048B CN114003048B (zh) | 2022-04-26 |
Family
ID=79932324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111652430.8A Active CN114003048B (zh) | 2021-12-31 | 2021-12-31 | 多目标对象的运动控制方法、装置、终端设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114003048B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115192045A (zh) * | 2022-09-16 | 2022-10-18 | 季华实验室 | 目的地识别/轮椅控制方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399639A (zh) * | 2013-08-14 | 2013-11-20 | 天津医科大学 | 基于ssvep和p300联合脑机接口方法及装置 |
| CN107346179A (zh) * | 2017-09-11 | 2017-11-14 | 中国人民解放军国防科技大学 | 基于诱发式脑机接口的多移动目标选择方法 |
| CN108319367A (zh) * | 2018-01-31 | 2018-07-24 | 清华大学 | 一种脑机接口方法 |
| CN108445751A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 融合递归图与深度学习的多目标ssvep意念控制法及应用 |
| CN110442244A (zh) * | 2019-08-22 | 2019-11-12 | 中国农业大学 | 一种基于脑机接口的虚拟现实游戏交互方法及系统 |
| CN112114662A (zh) * | 2020-08-03 | 2020-12-22 | 西安交通大学 | 一种现实增强的自适应动态多场景诱发脑控方法 |
| CN112783314A (zh) * | 2019-11-07 | 2021-05-11 | 中国科学院上海高等研究院 | 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端 |
| CN112817451A (zh) * | 2021-01-28 | 2021-05-18 | 清华大学 | 基于稳态视觉诱发电位的多目标定位方法和装置 |
-
2021
- 2021-12-31 CN CN202111652430.8A patent/CN114003048B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399639A (zh) * | 2013-08-14 | 2013-11-20 | 天津医科大学 | 基于ssvep和p300联合脑机接口方法及装置 |
| CN107346179A (zh) * | 2017-09-11 | 2017-11-14 | 中国人民解放军国防科技大学 | 基于诱发式脑机接口的多移动目标选择方法 |
| CN108319367A (zh) * | 2018-01-31 | 2018-07-24 | 清华大学 | 一种脑机接口方法 |
| CN108445751A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 融合递归图与深度学习的多目标ssvep意念控制法及应用 |
| CN110442244A (zh) * | 2019-08-22 | 2019-11-12 | 中国农业大学 | 一种基于脑机接口的虚拟现实游戏交互方法及系统 |
| CN112783314A (zh) * | 2019-11-07 | 2021-05-11 | 中国科学院上海高等研究院 | 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端 |
| CN112114662A (zh) * | 2020-08-03 | 2020-12-22 | 西安交通大学 | 一种现实增强的自适应动态多场景诱发脑控方法 |
| CN112817451A (zh) * | 2021-01-28 | 2021-05-18 | 清华大学 | 基于稳态视觉诱发电位的多目标定位方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115192045A (zh) * | 2022-09-16 | 2022-10-18 | 季华实验室 | 目的地识别/轮椅控制方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114003048B (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106859956B (zh) | 一种人体穴位识别按摩方法、装置及ar设备 | |
| EP2755194A1 (en) | 3D virtual training system and method | |
| CN108594999B (zh) | 用于全景图像展示系统的控制方法和装置 | |
| CN108681399B (zh) | 一种设备控制方法、装置、控制设备及存储介质 | |
| CN112198959A (zh) | 虚拟现实交互方法、装置及系统 | |
| CN112230836B (zh) | 对象的移动方法、装置、存储介质和电子装置 | |
| CN114003048B (zh) | 多目标对象的运动控制方法、装置、终端设备及介质 | |
| CN106272446B (zh) | 机器人动作模拟的方法和装置 | |
| KR20150094680A (ko) | 타겟팅 및 누르기 내추럴 사용자 입력 | |
| CN109360277B (zh) | 虚拟仿真显示控制方法和装置，存储介质及电子装置 | |
| CN112140113B (zh) | 一种基于脑-机接口的机器人控制系统及控制方法 | |
| Bentabet et al. | Synchronous P300 based BCI to control home appliances | |
| CN112783314B (zh) | 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端 | |
| CN109426336A (zh) | 一种虚拟现实辅助选型设备 | |
| Petrova et al. | Using environmental objects as visual stimuli in BCI-based interaction system: theoretical approach | |
| CN114967128B (zh) | 一种应用于vr眼镜的视线追踪系统及方法 | |
| CN114366129B (zh) | 一种脑机接口手功能康复训练系统和方法 | |
| CN111967333A (zh) | 一种信号生成方法、系统、存储介质及脑机接口拼写器 | |
| CN114115534A (zh) | 一种基于房间式互动投影的关系增强系统及方法 | |
| Tang et al. | A 3D visual stimuli based P300 brain-computer interface: for a robotic arm control | |
| CN113407031A (zh) | Vr交互方法、系统、移动终端及计算机可读存储介质 | |
| Borhani et al. | Clash of minds: A BCI car racing game in simulated virtual reality environment | |
| Kapeller et al. | Usability of video-overlaying SSVEP based BCIs | |
| CN113901895B (zh) | 一种车辆的开门动作识别方法、装置以及处理设备 | |
| CN116386807A (zh) | 基于运动想象和事件相关电位的康复训练方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |