CN109558004A - 一种人体辅助机器人的控制方法及装置 - Google Patents

一种人体辅助机器人的控制方法及装置 Download PDF

Info

Publication number
CN109558004A
CN109558004A CN201811290871.6A CN201811290871A CN109558004A CN 109558004 A CN109558004 A CN 109558004A CN 201811290871 A CN201811290871 A CN 201811290871A CN 109558004 A CN109558004 A CN 109558004A
Authority
CN
China
Prior art keywords
interest
target
target object
user
eeg signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811290871.6A
Other languages
English (en)
Other versions
CN109558004B (zh
Inventor
王天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Chengtian Technology Development Co Ltd
Original Assignee
Hangzhou Chengtian Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Chengtian Technology Development Co Ltd filed Critical Hangzhou Chengtian Technology Development Co Ltd
Priority to CN201811290871.6A priority Critical patent/CN109558004B/zh
Publication of CN109558004A publication Critical patent/CN109558004A/zh
Application granted granted Critical
Publication of CN109558004B publication Critical patent/CN109558004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种人体辅助机器人的控制方法及装置，涉及自动控制领域。本发明提供的人体辅助机器人的控制方法，采用脑电控制技术，其在显示设备上分别显示每个目标对象所对应的第一视觉刺激信息；而后，采集用户观看显示设备所产生的第一脑电信号，并根据第一脑电信号，从目标对象中选择用户的感兴趣对象；最后根据感兴趣对象的位置生成机器人控制指令。使得用户可以通过转动眼睛就可以下达对应的控制指令，提高了使用的便捷程度。

Description

一种人体辅助机器人的控制方法及装置
技术领域
本发明涉及自动控制领域，具体而言，涉及一种人体辅助机器人的控制方法及装置。
背景技术
随着自动控制技术的提高，人工辅助的机器人在各领域均得到了广泛的应用。常见的领域如机器制造领域、护理领域。
针对护理领域而言，机器人更多的作用是帮助被护理人员完成某些动作，如位置移动、抓取物品等。
相关技术中，被护理人员在控制机器人的时候通常是通过手持的遥控器完成控制指令的下达。
发明内容
本发明的目的在于提供一种人体辅助机器人的控制方法。
第一方面，本发明实施例提供了一种人体辅助机器人的控制方法，包括：
在显示设备上分别显示每个目标对象所对应的第一视觉刺激信息；
采集用户观看显示设备所产生的第一脑电信号；
根据第一脑电信号，从目标对象中选择用户的感兴趣对象；
根据感兴趣对象的位置生成机器人控制指令。
优选的，所述方法作用于人体辅助机器人，所述人体辅助机器人包括手臂；
步骤根据感兴趣对象的位置生成机器人控制指令包括：
根据感兴趣对象的位置和人体辅助机器人手臂的位置生成手臂移动指令。
优选的，所述方法作用于人体辅助机器人，所述人体辅助机器人包括行动部；步骤根据感兴趣对象的位置生成机器人控制指令包括：
根据感兴趣对象的位置和人体辅助机器人的位置生成整体移动指令。
优选的，步骤在显示设备上分别显示每个目标对象所对应的第一视觉刺激信息包括：
分别在AR眼镜中每个目标对象的附近，显示与目标对象相对应的第一视觉刺激信息；
或，
将环境图像和第一视觉刺激信息叠加在显示屏上进行显示；第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的；
或，
分别为每个目标对象确定对应的第一视觉刺激参数；
按照目标对象所对应的第一视觉刺激参数，显示每个环境图像中目标对象；
或，
将环境图像中的目标对象和对应的第一视觉刺激信息同时显示在显示屏上；第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的。
优选的，步骤根据第一脑电信号，从目标对象中选择用户的感兴趣对象包括：
根据第一脑电信号，从目标对象中选择用户的候选对象；
判断候选对象的预定范围内是否存在其他目标对象；
若存在，则确定候选对象所在的预定范围的区域为感兴趣区域；
将放大后的感兴趣区域的图像在显示屏上显示；
根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定对象作为感兴趣对象。
优选的，步骤根据第一脑电信号，从目标对象中选择用户的感兴趣对象包括：
根据第一脑电信号，从目标对象中选择用户的候选对象；
判断候选对象的预定范围内是否存在其他目标对象；
若存在，则确定候选对象所在的预定范围的区域为感兴趣区域；
为感兴趣区域中的每个对象重新配置视觉刺激参数；
按照重新配置的视觉刺激参数，在显示设备上分别显示感兴趣区域中每个目标对象所对应的第二视觉刺激信息；
采集用户观看显示设备所产生的第二脑电信号；
根据第二脑电信号，从目标对象中选择用户的感兴趣对象。
优选的，步骤根据第一脑电信号，从目标对象中选择用户的感兴趣对象包括：
根据第一脑电信号，从目标对象中选择用户的候选对象；
判断候选对象的预定范围内是否存在其他目标对象；
若存在，则确定候选对象所在的预定范围的区域为感兴趣区域；
为感兴趣区域中的每个对象重新配置视觉刺激参数；
将放大后的感兴趣区域的图像在显示屏上显示，并按照重新配置的视觉刺激参数，在显示设备上分别显示感兴趣区域中每个目标对象所对应的第二视觉刺激信息；
采集用户观看显示设备所产生的第二脑电信号；
根据第二脑电信号，从目标对象中选择用户的感兴趣对象。
优选的，还包括：
获取环境图像；
对环境图像进行前景提取，以确定前景图像；
从目标数据库中提取参考图像；
将前景图像中，与参考图像的相似度超过预设阈值的对象作为目标对象。
优选的，还包括：
根据获取到的第二选择指令，从候选数据库中选择目标数据库；候选数据库包括家庭环境数据库、医疗环境数据库、室外环境数据库。
优选的，还包括：
获取当前位置信息；
查找与当前位置信息相对应的地点信息；
根据地点信息生成第二选择指令。
优选的第二选择指令是用户所下达的数据库选择指令。
优选的，步骤根据第一脑电信号，从目标对象中选择用户的感兴趣对象包括：
根据第一脑电信号，从目标对象中选择第一待确认对象；
分别输出每个与第一待确认对象相对应的提示信息；
若获取到与提示信息相对应的确认指令，则将对应的第一待确认对象作为感兴趣对象。
优选的，步骤根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定对象作为感兴趣对象包括：
选择与第一选择指令相对应的对象作为第一待确认对象；
分别输出每个与第一待确认对象相对应的提示信息；
若获取到与提示信息相对应的确认指令，则将对应的第一待确认对象作为感兴趣对象。
优选的，步骤根据第二脑电信号，从目标对象中选择用户的感兴趣对象包括：
根据第二脑电信号，从目标对象中选择第二待确认对象；
输出与第二待确认对象相对应的提示信息；
若获取到与提示信息相对应的确认指令，则将第二待确认对象作为感兴趣对象。
优选的，步骤分别输出每个与第一待确认对象相对应的提示信息包括：
在显示屏上显示与第一待确认对象相对应的图像信息；
和/或，播放第一待确认对象的名称的语音信息；
步骤输出与第二待确认对象相对应的提示信息包括：
在显示屏上显示与第二待确认对象相对应的图像信息；
和/或，播放第二待确认对象的名称的语音信息。
优选的，还包括：
获取用户行为；
若用户行为符合预设的标准行为要求，则确定获取到与提示信息相对应的确认指令。
优选的，标准行为要求包括：用户完成以下任意一个或多个行为：
眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为。
第二方面，本发明实施例还提供了一种人体辅助机器人的控制装置，包括：
显示模块，用于在显示设备上分别显示每个目标对象所对应的第一视觉刺激信息；
采集模块，用于采集用户观看显示设备所产生的第一脑电信号；
第一选择模块，用于根据第一脑电信号，从目标对象中选择用户的感兴趣对象；
第一生成模块，用于根据感兴趣对象的位置生成机器人控制指令。
第三方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行第一方面任一所述方法。
第四方面，本发明实施例还提供了一种计算设备包括：处理器、存储器和总线，存储器存储有执行指令，当计算设备运行时，处理器与存储器之间通过总线通信，处理器执行存储器中存储的如第一方面任一所述方法。
本发明实施例提供的人体辅助机器人的控制方法，采用脑电控制技术，其在显示设备上分别显示每个目标对象所对应的第一视觉刺激信息；而后，采集用户观看显示设备所产生的第一脑电信号，并根据第一脑电信号，从目标对象中选择用户的感兴趣对象；最后根据感兴趣对象的位置生成机器人控制指令。使得用户可以通过转动眼睛就可以下达对应的控制指令，提高了使用的便捷程度。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的人体辅助机器人的控制方法的基本流程图；
图2示出了本申请实施例所提供的第一计算设备的示意图；
图3示出了本申请实施例所提供的使用AR眼镜实现人体辅助机器人的控制方法的示意图；
图4示出了本申请实施例所提供的使用采用第一种通过平板电脑实现人体辅助机器人的控制方法的示意图；
图5示出了本申请实施例所提供的使用采用第二种通过平板电脑实现人体辅助机器人的控制方法的示意图；
图6示出了图5的一种具体实现方式。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，人体辅助机器人的受用群体主要是伤病患者和需要进行辅助操作的用户(进而，本申请所提供的方法的技术领域也可以理解为对对用户起到辅助操作作用的机器人)，伤病患者受到自身条件的约束(如偏瘫患者、截瘫患者的部分身体无法运动)，不方便进行某些动作(如移动和抓取)，因此，传统的人体辅助机器人一般至少应当能够完成移动和抓取的任务。
人体辅助机器人完成抓取和移动的动作的前提条件是接收到用户所下的操作指令，通常情况下，用户是通过手柄控制器来完成控制指令的下达。但对于某些伤病患者而言，是不便于使用手柄控制器的，甚至在使用手柄控制器的时候会出现误操作，进而引发危险。
针对这种情况，本申请提供了一种人体辅助机器人的控制方法，如图1所示，包括：
S101，在显示设备上分别显示每个目标对象所对应的第一视觉刺激信息；
S102，采集用户观看显示设备所产生的第一脑电信号；
S103，根据第一脑电信号，从目标对象中选择用户的感兴趣对象；
S104，根据感兴趣对象的位置生成机器人控制指令。
其中，步骤S101中，第一视觉刺激信息是用来促使用户产生相应的脑电信号的信息，该第一视觉信息通常是图像形式的信息(如按照预定频率进行闪烁的图像)。通常情况下，第一视觉刺激信息有三种输出形式。如图3所示，第一种输出形式，是在AR眼镜上采用增强现实的方式来输出第一视觉刺激信息(如按照某种频率/颜色/亮度显示某个提示用的图标)；如图4所示，第二种输出形式，是采用在显示屏上显示模拟真实环境的图像(该图像中有目标对象)，并且在显示模拟真实环境的图像的同时输出第一视觉刺激信息(即，在显示真是环境的同时显示第一视觉刺激信息)；如图5所示，第二种输出形式，是在显示屏上直接显示目标对象和对应的第一视觉刺激信息 (可以将不同的目标对象的图标呈阵列状排列在显示屏上)；第三种输出形式和第二种输出形式相比，第三种输出形式中，不在输出环境图像，而只是输出了环境图像中的目标对象所对应的图标，该图标可以是卡通形式的，也可以是目标对象的照片等能够显示出目标对象的图像。
一般情况下，每个目标对象所对应的视觉刺激信息均应当是不相同的，否则就无法起到区分的作用了。不论是上述哪种情况，通常情况下，第一视觉刺激信息均应当显示在对应的目标对象的位置上，比如共有5个目标对象(对象1-5)，则也应当有五种第一视觉刺激信息 (视觉刺激信息1-5)，视觉刺激信息1是显示在对象1旁边，视觉刺激信息2是显示在对象2旁边，视觉刺激信息3是显示在对象3旁边，进而，只要用户在观看某一个对象，也同时会看到对应的视觉刺激信息，之后，视觉刺激信息就会使得用户产生相应的脑电信号。除了在目标对象的旁边显示第一视觉刺激信息以外，还可以是第一视觉刺激信息是单独在显示屏上的某一个区域显示的，此种方式类似于做选择题，比如，可以将显示设备划分为两个显示区，在一个显示区中显示目标对象的图标，在另一个显示区中显示第一视觉刺激信息。
其中，第一视觉刺激信息的显示方式包括以下任意一种或多种刺激方式：频率刺激方式、颜色刺激方式和亮度刺激方式。具体实现时，这三种刺激方式可以叠加使用，比如同时在目标对象旁边显示视觉刺激信息(如某个图标)，显示的频率和颜色都是按照预定的规则执行的。或者是按照指定的刺激频率和刺激颜色显示目标对象。
在用户产生了相应的脑电信号之后，用户就可以通过脑机接口技术(brain-computer interface，BCI)来确定用户所注视的对象到底是哪个了。
其中，每种第一视觉刺激信息都应当是不同的，并且显示距离(不同的第一视觉刺激信息显示在显示屏上的图像的距离)相近的第一视觉刺激信息应当是有足够差别的，从而保证用户在看到第一视觉刺激信息后，不会发生误识别的情况。具体的，第一视觉刺激信息可以是频率刺激信息(即按照预定的闪烁频率显示某个图标，或者是将目标对象按照预定的闪烁频率进行显示)、也可以是颜色刺激信息(将目标对象涂成某个颜色，或将目标对象的边框涂成某个颜色，或者在目标对象的旁边显示某个颜色的图标)、或亮度刺激信息等能够使用户产生有效的脑电信号的刺激信息。
在用户通过观看第一视觉刺激信息产生相应的脑电信号后，在步骤S102中，系统就可以直接通过检测的方式来确定第一脑电信号。由于第一脑电信号是用户在观察显示设备的显示后生成的，因此，第一脑电信号能够反应出用户是在盯着显示设备中的哪个第一视觉刺激信息观看，进而，步骤S103中，系统可以认为用户盯着看的第一视觉刺激信息所对应的目标对象就是感兴趣对象，而后，在步骤S104 中，系统就可以生成关于感兴趣对象的机器人控制指令了。
如前文中的说明，第一视觉刺激信息的显示方式有至少三种，下面对这三种分别进行介绍：
第一种显示第一视觉刺激信息的方式，即步骤S101执行前，还包括如下步骤：
步骤10111，获取环境图像；
步骤10112，对环境图像进行前景提取，以确定前景图像；
步骤10113，从目标数据库中提取参考图像；
步骤10114，将前景图像中，与参考图像的相似度超过预设阈值的对象作为目标对象。
步骤10111中，主要是通过摄像头获取到真实环境图像，该真实环境图像是实际拍摄到的。一般来说，步骤10111中，获取环境图像的摄像头是携带在用户头部的，更准确来说，该摄像头应当是设置在 AR眼镜上的，这样能够保证摄像头所拍摄到的真实环境图像与用户肉眼直接看到的图像是基本相同的。
步骤10112中，前景图像是从环境图像中提取出的，确定前景图像的方式还可以是将提取到的图像与目标数据库中的背景图像进行对比，并根据背景图像的情况(主要是背景图像与前景图像的差别的情况)确定环境图像中所出现的前景图像。
步骤10113中，参考图像是预存在目标数据库中的，该目标数据库可以是存储在系统本地，也可以是存储在云端上的。
与参考图像的相似度超过预设阈值的对象，通常指的是与参考图像的相似度最高，且与参考图像的相似度超过基本数值限度的对象。步骤将前景图像中，与参考图像的相似度超过预设阈值的对象作为目标对象在具体执行的时候，可以是先计算每个前景图像所对应的参考图像的相似度(计算前景图像所对应的多个相似度)，之后选择相似度最大值作为该前景图像的相似度。之后，再将相似度最高的前景图像作为目标对象。
进而，步骤S101，在显示设备上分别显示每个目标对象所对应的第一视觉刺激信息可以按照如下方式执行：
分别在AR眼镜中每个目标对象的附近，显示与目标对象相对应的第一视觉刺激信息。
此处，AR眼镜中目标对象的附近指的是，在用户视角下，AR 目标对象出现在AR眼镜中的位置的附近。该AR眼镜中目标对象的位置可以根据摄像头拍摄到的画面确定。显示与目标对象相对应的第一视觉刺激信息，可以是在AR眼镜上显示按照指定频率进行闪烁的提示图标，或者是按照指定颜色显示的提示图标。
第二种显示第一视觉刺激信息的方式，即在步骤S101之前，还包括如下步骤：
步骤10115，获取环境图像；
步骤10116，对环境图像进行前景提取，以确定前景图像；
步骤10117，从目标数据库中提取参考图像；
步骤10118，将前景图像中，与参考图像的相似度超过预设阈值的对象作为目标对象；
步骤S101可以按照如下方式执行：
将环境图像和第一视觉刺激信息叠加在显示屏上进行显示；第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的。
其中，步骤10115-步骤10118的执行方式与步骤10111-10114的执行方式相同，此处不再过多说明。
步骤将环境图像和第一视觉刺激信息叠加在显示屏上进行显示中，该显示屏并不是AR眼镜，而是如手机、平板电脑一类的非透明显示屏。通过在显示屏上同时显示环境图像和第一视觉刺激信息，并且，第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的，使得用户在观看目标对象的时候，就能够直接观察到第一视觉刺激信息。目标对象和第一视觉刺激信息的关系前文中已经说明过，此处不再重复说明。
叠加在显示屏上进行显示，指的是目标对象和第一视觉刺激信息同时显示在显示屏上。比如，除了正常显示包含有目标对象的环境图像外，还显示了按照指定频率进行闪烁的提示图标，或者是按照指定颜色显示的提示图标。如图6所示，示出了提示图标的一种存在形态，图6中，围绕着目标对象(桌子、椅子、电脑)的方框就是提示图标。当然，提示图标还可以有其他的存在形式，一般来讲，能够起到区分不同目标对象的图标都可以认为是提示图标。
优选的，第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的，指的是，第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置之间的距离小于预设的阈值。更具体的，第一视觉刺激信息可以是浮动在对应的目标对象的表面进行显示，即第一视觉刺激信息可以是呈半透明状浮在目标对象的表面；还可以是第一视觉刺激信息是环绕在目标对象的四周进行显示。
类似的，步骤S101还可以按照如下方式执行：
分别为每个目标对象确定对应的第一视觉刺激参数；
按照目标对象所对应的第一视觉刺激参数，显示每个环境图像中目标对象。
也就是，将环境图像中的目标对象按照对应的第一视觉刺激参数在显示屏上进行显示；此种方式的一种具体实现方式就是按照预定的频率(如目标对象A的频率为30，目标对象B的频率为50，目标对象C的频率为70)闪烁显示每个目标对象，并且，还可以进一步正常显示目标对象以外的环境图像。当然，除了将目标对象按照某种频率进行显示，还可以是将目标对象按照某种颜色/亮度进行显示。如图4所示，桌子、椅子和电脑可以以不同的频率进行闪烁，或者是显示有不同的颜色，也可以是即按照预定的频率进行闪烁，也显示某种颜色。
第三种显示第一视觉刺激信息的方式，即在步骤S101之前，还包括如下步骤：
步骤10119，获取环境图像；
步骤10120，对环境图像进行前景提取，以确定前景图像；
步骤10121，从目标数据库中提取参考图像；
步骤10122，将前景图像中，与参考图像的相似度超过预设阈值的对象作为目标对象；
步骤S101可以按照如下方式执行：
将环境图像中的目标对象和对应的第一视觉刺激信息同时显示在显示屏上；第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的。
步骤将环境图像中的目标对象和对应的第一视觉刺激信息同时显示在显示屏上中，该显示屏并不是AR眼镜，而是如平板电脑一类的非透明显示屏。通过在显示屏上同时显示环境图像和第一视觉刺激信息，并且，第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的，使得用户在观看目标对象的时候，就能够直接观察到第一视觉刺激信息。
优选的，第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的，指的是，第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置之间的距离小于预设的阈值。更具体的，第一视觉刺激信息可以是浮动在对应的目标对象的表面进行显示，即第一视觉刺激信息可以是呈半透明状浮在目标对象的表面；还可以是第一视觉刺激信息是环绕在目标对象的四周进行显示。
第三种显示第一视觉刺激信息的方式与第二种显示第一视觉刺激信息的方式相比，差别在于，第二种显示第一视觉刺激信息的方式在实现时，依旧会显示环境图像中非目标对象以外的区域，而第三种显示第一视觉刺激信息的方式在实现时，是只显示目标对象和对应的第一视觉刺激信息的。
更具体的，步骤S101可以按照如下方式执行：
将环境图像中的目标对象和对应的第一视觉刺激信息同时显示在显示屏上；第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的，且目标对象是呈阵列状分布在显示屏上的。
除了将环境图像中的目标对象和对应的第一视觉刺激信息同时显示在显示屏上的方式之外，还可以是按照预定的频率闪烁显示每个目标对象，以达到显示第一视觉刺激信息的目的。
进而，步骤S101还可以按照如下方式实现：
按照目标对象所对应的第一视觉刺激参数，在显示屏上显示每个目标对象。
也就是，将每个目标对象按照对应的第一视觉刺激参数在显示屏上进行显示，并且，不同时显示环境图像中其他的位置；此种方式的一种具体实现方式就是按照预定的频率(如目标对象A的频率为30，目标对象B的频率为50，目标对象C的频率为70)闪烁显示每个目标对象，并且，不显示目标对象以外的环境图像。
此处需要说明的是，第二种显示第一视觉刺激信息的方式和第三种显示第一视觉刺激信息的方式中，均提及了按照预定的频率闪烁显示每个目标对象，此种情况下，不再需要单独显示第一视觉刺激信息了，或者说，只按照预定的频率闪烁显示每个目标对象就已经可以体现出第一视觉刺激信息了(此处，按照预定的频率闪烁就可以认为是显示了第一视觉刺激信息)。很明显的，第一种显示第一视觉刺激信息的方式中无法采用这种方式，因为用户所看到的目标对象并不是在显示屏上显示出来的，而是肉眼直接看到的。
基于上述方案，第一视觉刺激参数优选是按照目标对象的分布情况来确定，此处的目标对象的分布指的是不同目标对象之间的相对位置关系(空间方位)和具体的距离，视觉刺激参数可以是指闪烁的频率数值，也可以是其他能够引起用户产生不同第一脑电信号的参数。
进而，本申请所提供的方案，还包括如下步骤：
获取目标对象的分布情况；
根据目标对象的分布情况，为每个目标对象确定对应的第一视觉刺激参数；不同目标对象之间的第一视觉刺激参数的差值与目标对象之间的距离呈负相关性。
优选的，不同目标对象之间的第一视觉刺激参数的差值与目标对象之间的距离呈负相关性，该限定的含义是距离越近的两个目标对象的第一视觉刺激参数的差值越大(如两个目标对象距离越近，则这两个目标对象所对应的第一视觉刺激信息的闪烁频率应当相差较大)。此种设置的主要原因是距离相近的两个目标对象可能都会影响用户产生第一脑电信号，此种情况下，更加需要对这两个目标对象加以辨识，以保证第一脑电信号不会产生错误。进而，发明人认为，可以通过限制距离越近的两个目标对象的视觉刺激参数的差值越大的方式来达到技术目的。
步骤S104中，系统可以根据感兴趣对象的位置生成机器人控制指令。
此处的机器人控制指令可以分为两种，分别是人体辅助机器人的整体移动指令(驱动人体辅助机器人朝向感兴趣对象移动的指令)和抓取感兴趣对象的指令(驱动人体辅助机器人抓取感兴趣对象的指令)。
当控制指令是整体移动指令的时候，本申请所提供的方法作用于人体辅助机器人，所述人体辅助机器人包括行动部；步骤根据感兴趣对象的位置生成机器人控制指令包括：
根据感兴趣对象的位置和人体辅助机器人的位置生成整体移动指令。
进而，人体辅助机器人在接收到整体移动指令之后，就可以通过驱动行动部来朝向感兴趣对象进行移动了。其中，感兴趣对象的位置和人体辅助机器人的位置都可以理解为在空间中的坐标值。感兴趣对象的坐标(位置)有多种获取方式，下面仅列举其中的几种：
第一种，通过设置在感兴趣对象上的定位器和无线信号发送器来实现。具体实现的时候，可以驱动感兴趣对象上的定位器先获取位置信号，并通过无线信号发送器将位置信号发送给本地。也就是，本申请所提供的方法中，感兴趣对象的位置可以是通过设置在感兴趣对象上的定位器获取到的。
第二种，通过设置外部定位装置来获取感兴趣对象的位置，比如可以通过超声波定位器、wifi定位器等设备进行定位，或者是进一步通过实际环境的照片进行辅助定位来确定感兴趣对象的位置。
第三种，某些感兴趣对象的位置是确定的，比如用户期望去厕所，或者是去床边，厕所和床的位置在一个房间内是相对固定的，此时，可以在系统中预存这些位置相对固定的对象的位置信息，而后，在使用时，直接调取这些位置即可。此种情况下，本申请所提供的方法中，感兴趣对象的位置可以是按照如下方式确定的：
从预存在位置数据库内的对象位置列表中查找感兴趣对象的位置；所述对象位置列表中记载有指定对象和位置的对应关系。
也就是，当对象是床、厕所这些一般不会发生移动的物体时，可以不使用临时定位的方式来确定其位置，而是采用在系统中预存位置，并在使用的时候通过查找的方式来确定位置。
在确定了感兴趣对象的位置之后，就可以驱动人体辅助机器人朝向感兴趣对象移动了。当然，在人体辅助机器人移动的时候，应当考虑到避障的问题，比如可以使用超声波传感器来避免撞到障碍物。在确定机器人控制指令的时候，如果需要确定人体辅助机器人的位置，也可以参照前文中获取感兴趣对象的位置的方式来确定人体辅助机器人的位置。
具体的，为了提高移动的准确度，步骤S103中，机器人控制指令优选为指向感兴趣对象的导航线路。
类似的，当控制指令是手臂移动指令(抓取指令)的时候，本申请所提供的方法作用于人体辅助机器人，所述人体辅助机器人包括行动部；步骤根据感兴趣对象的位置生成机器人控制指令包括：
根据感兴趣对象的位置和人体辅助机器人手臂的位置生成手臂移动指令。
其中，人体辅助机器人手臂的位置主要是指人体辅助机器人能够进行抓取的结构的位置。在控制指令是手臂移动指令时，感兴趣对象的位置的获取方式可以参照前文中的方式，此处不过多描述。
本申请所提供的方法中，人体辅助机器人的主要功能之一是运载用户移动，也就是，在人体辅助机器人按照整体移动指令朝向感兴趣对象移动的时候，也同时在运载这用户朝向感兴趣对象移动。本申请所提供的方法优选应用在室内，比如优选在用户的家中、医院中等环境较为简单的场地中使用本申请的方法。由此，本申请所提供的方法中，人体辅助机器人在按照机器人控制指令进行移动的时候，同时会携带用户进行移动，而不是人体辅助机器人是脱离开用户进行移动的。本申请所提供的方法也可以理解为是一种在相对封闭/环境相对固定的室内所应用的人体辅助机器人的控制方法。
步骤S103在具体执行时，也有如下几种对应的执行方式：
步骤S103的第一种执行方式：
步骤10311，根据第一脑电信号，从目标对象中选择用户的候选对象；
步骤10312，判断候选对象的预定范围内是否存在其他目标对象；
步骤10313，若存在，则确定候选对象所在的预定范围的区域为感兴趣区域；
步骤10314，将放大后的感兴趣区域的图像在显示屏上显示；
步骤10315，根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定对象作为感兴趣对象。
步骤10311中，由于第一脑电信号是针对第一视觉刺激信息的一个反应，因此，可能无法保证必然的准确性，由此，可以先确定一个可能符合第一脑电信号的对象作为候选对象。之后，在步骤10312 中判断一定范围是否存在其他的目标对象，如果不存在，则可以直接将该候选对象作为感兴趣对象。
如果存在，则步骤10313中，可以将候选对象所在的区域为感兴趣区域，并在步骤10314中奖放大后的感兴趣区域在显示屏上显示出来，并根据用户所下达的第一选择指令来确定感兴趣区域中的某个对象作为感兴趣对象。
具体的，步骤10315可以按照如下方式执行：
选择与第一选择指令相对应的对象作为第一待确认对象；
分别输出每个与第一待确认对象相对应的提示信息；
若获取到与提示信息相对应的确认指令，则将对应的第一待确认对象作为感兴趣对象。
也就是，在具体确定感兴趣对象之前，先和用户进行确认，以保证确认的准确性，具体的，分别输出每个与第一待确认对象相对应的提示信息包括：
在显示屏上显示与第二待确认对象相对应的图像信息；
和/或，播放第二待确认对象的名称的语音信息。
输出第一待确认对象之后，用户可以通过多种不同的方式进行确认，比如可以通过语音进行确认。
步骤S103的第二种执行方式：
步骤10316，根据第一脑电信号，从目标对象中选择用户的候选对象；
步骤10317，判断候选对象的预定范围内是否存在其他目标对象；
步骤10318，若存在，则确定候选对象所在的预定范围的区域为感兴趣区域；
步骤10319，为感兴趣区域中的每个对象重新配置视觉刺激参数；
步骤10320，按照重新配置的视觉刺激参数，在显示设备上分别显示感兴趣区域中每个目标对象所对应的第二视觉刺激信息；
步骤10321，采集用户观看显示设备所产生的第二脑电信号；
步骤10322，根据第二脑电信号，从目标对象中选择用户的感兴趣对象。
步骤10316的执行方式与步骤10311的执行方式相同，步骤 10317的执行方式与步骤10312的执行方式相同，此处不重复描述。如果候选对象的预定范围内是否存在其他目标对象，则确定候选对象所在的预定范围的区域为感兴趣区域，并为感兴趣区域中的每个对象重新配置视觉刺激参数，重新分配视觉刺激参数后，能够更有利于用户分辨感兴趣区域中的不同目标对象。
之后，步骤10320中，可以重新在显示设备上分别显示感兴趣区域中每个目标对象所对应的第二视觉刺激信息，之后通过采集用户观看显示设备所产生的第二脑电信号来确定目标对象中选择用户的感兴趣对象。
步骤10322可以按照如下方式执行：
根据第二脑电信号，从目标对象中选择第二待确认对象；
输出与第二待确认对象相对应的提示信息；
若获取到与提示信息相对应的确认指令，则将第二待确认对象作为感兴趣对象。
步骤S103的第三种执行方式：
步骤10323，根据第一脑电信号，从目标对象中选择用户的候选对象；
步骤10324，判断候选对象的预定范围内是否存在其他目标对象；
步骤10325，若存在，则确定候选对象所在的预定范围的区域为感兴趣区域；
步骤10326，为感兴趣区域中的每个对象重新配置视觉刺激参数；
步骤10327，将放大后的感兴趣区域的图像在显示屏上显示，并按照重新配置的视觉刺激参数，在显示设备上分别显示感兴趣区域中每个目标对象所对应的第二视觉刺激信息；
步骤10328，采集用户观看显示设备所产生的第二脑电信号；
步骤10329，根据第二脑电信号，从目标对象中选择用户的感兴趣对象。
其中，步骤10323-步骤10326的执行方式与步骤10316-步骤 10319的执行方式相同，此处不重复描述。
步骤10327中，是将感兴趣区域进行放大处理后，将放大后的感兴趣区域的图像在显示屏上显示，并按照重新配置的视觉刺激参数，在显示设备上分别显示感兴趣区域中每个目标对象所对应的第二视觉刺激信息。
当然，步骤10327还可以按照如下方式执行：
按照目标对象所对应的第二视觉刺激参数，在显示屏上显示每个目标对象。
步骤10328和步骤10329的具体执行方式可以参照前文，此处不重复说明。
步骤10329可以按照如下方式执行：
根据第二脑电信号，从目标对象中选择第二待确认对象；
输出与第二待确认对象相对应的提示信息；
若获取到与提示信息相对应的确认指令，则将第二待确认对象作为感兴趣对象。
步骤S103的第四种执行方式：
步骤10330，根据第一脑电信号，从目标对象中选择第一待确认对象；
步骤10331，分别输出每个与第一待确认对象相对应的提示信息；
步骤10332，若获取到与提示信息相对应的确认指令，则将对应的第一待确认对象作为感兴趣对象。
步骤10330的执行方式与步骤10323的执行方式相同，此处不再重复描述。
步骤10331的具体实现方式有三种，分别是：
第一种，在显示屏上显示与第一待确认对象相对应的图像信息；
第二种，播放第一待确认对象的名称的语音信息；
第三种，在显示设备上分别显示感兴趣区域中每个目标对象所对应的第二视觉刺激信息。
更具体的，对于前两种情况，在输出提示信息的时候，可以是系统同时将多个对象同时显示在显示屏上，如将床和桌子的文字同时显示在显示屏上，也可以是系统在显示屏上循环的显示不同的对象，如第1-5、11-15秒显示桌子，第6-10、16-20秒显示床，则用户只需要按下一个确认按钮，系统就可以根据按下确认按钮时，当前所显示的对象来确定用户所期望选择的是哪个了。比如用户在第8秒(显示床的时间段)按下的确认按钮，则系统就可以判定用户是期望选择床作为感兴趣对象了。
对于第三种情况，可以依旧是采用采集用户观看显示设备所产生的第二脑电信号，并根据第二脑电信号，从第一待确认对象中选择用户的感兴趣对象。
本申请所提供的方案中，在步骤输出与第一/第二待确认对象相对应的提示信息时，还包括：
获取用户行为；
若用户行为符合预设的标准行为要求，则确定获取到与提示信息相对应的确认指令。
其中，标准行为要求包括：用户完成以下指定一个或多个行为：
眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为。
在具体实现的额时候，标准行为要求，指的是用户同时完成以下指定一个行为：
眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为；
或者是同时完成以下指定至少两个行为：
眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为。
需要说明的是，当需要用户同时完成至少两个行为的时候，通常是需要确认的对象较多的情况，此时可以向用户进行一定的提示。具体而言，在执行步骤输出与第一/第二待确认对象相对应的提示信息时的同时，还可以执行如下步骤：
分别输出与每个第一待确认对象相对应的标准行为要求。
其中，所输出的标准行为要求就是需要用户做出的动作，比如，在显示屏上显示“床”(提示信息的一种)的同时，还显示眨眼和伸舌头，这就表示用户必须同时眨眼和伸舌头，才会被系统认为用户期望选择床作为感兴趣对象。
上述部分方案中使用到了目标数据库，也就是，目标数据库能够决定参考图像的具体内容或类型，因此，不同的目标数据库能够帮助准确的确定不同的目标对象。根据本方案所适用的情况，发明人认为，可以将数据库分为如下几种类型：
家庭环境数据库、医疗环境数据库、室外环境数据库。
对应的，本申请所提供的方法还包括如下步骤：
根据获取到的第二选择指令，从候选数据库中选择目标数据库；候选数据库包括家庭环境数据库、医疗环境数据库、室外环境数据库。
进而，在确定了目标数据库之后，再从目标数据库中提取的参考图像的时候，就可以提取到对应的参考图像了，进而，使用相对应的参考图像能够更加准确的完成识别。
其中，第二选择指令可以是用户(使用人体辅助机器人的操作者) 所下达的，也可以是由第三方用户下达的，还可以是系统响应于外部环境所生成的。
也就是，当第二选择指令是系统响应于外部环境所生成的，则本申请所提供的方法还包括：
获取当前位置信息；
查找与当前位置信息相对应的地点信息；
根据地点信息生成第二选择指令。
其中，当前位置信息反映了人体辅助机器人当前所处的位置，而后，可以利用电子地图技术查找与当前位置信息相对应的地点信息，地点信息可以是医院、家庭、公园等等地点。之后，根据地点信息生成第二选择指令，如果地点信息是医院，则生成的第二选择指令则可以是用于选择医疗环境数据库；如果地点信息是家庭，则生成的第二选择指令则可以是用于选择家庭数据库。
对应的，当第二选择指令是用户所下达的，则本申请所提供的方法还包括：
接收用户所下达的数据库选择指令。
该用户所下达的数据库选择指令可以是用户通过操作手持遥控器上的按键下达的，也可以是通过声控指令下达的。
与上述方法相对应的，本申请还提供了一种人体辅助机器人的控制装置，包括：
显示模块，用于在显示设备上分别显示每个目标对象所对应的第一视觉刺激信息；
采集模块，用于采集用户观看显示设备所产生的第一脑电信号；
第一选择模块，用于根据第一脑电信号，从目标对象中选择用户的感兴趣对象；
第一生成模块，用于根据感兴趣对象的位置生成机器人控制指令。
优选的，所述装置作用于人体辅助机器人，所述人体辅助机器人包括手臂；
第一生成模块包括：
第一生成单元，用于根据感兴趣对象的位置和人体辅助机器人手臂的位置生成手臂移动指令。
优选的，所述装置作用于人体辅助机器人，所述人体辅助机器人包括行动部；
第一生成模块包括：
第二生成单元，用于根据感兴趣对象的位置和人体辅助机器人的位置生成整体移动指令。
优选的，显示模块包括：
第一显示单元，用于分别在AR眼镜中每个目标对象的附近，显示与目标对象相对应的第一视觉刺激信息；
或，
第二显示单元，用于将环境图像和第一视觉刺激信息叠加在显示屏上进行显示；第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的；
或，
第一确定单元，用于分别为每个目标对象确定对应的第一视觉刺激参数；
第三显示单元，用于按照目标对象所对应的第一视觉刺激参数，显示每个环境图像中目标对象；
或，
第四显示单元，用于将环境图像中的目标对象和对应的第一视觉刺激信息同时显示在显示屏上；第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的。
优选的，第一选择模块包括：
第一选择单元，用于根据第一脑电信号，从目标对象中选择用户的候选对象；
第一判断单元，用于判断候选对象的预定范围内是否存在其他目标对象；
第二确定单元，若第一判断单元判断为是，则用于确定候选对象所在的预定范围的区域为感兴趣区域；
第五显示单元，用于将放大后的感兴趣区域的图像在显示屏上显示；
第二选择单元，用于根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定对象作为感兴趣对象。
优选的，第一选择模块包括：
第三选择单元，用于根据第一脑电信号，从目标对象中选择用户的候选对象；
第二判断单元，用于判断候选对象的预定范围内是否存在其他目标对象；
第三确定单元，若第二判断单元判断为是，则用于确定候选对象所在的预定范围的区域为感兴趣区域；
第一配置单元，用于为感兴趣区域中的每个对象重新配置视觉刺激参数；
第六显示单元，用于按照重新配置的视觉刺激参数，在显示设备上分别显示感兴趣区域中每个目标对象所对应的第二视觉刺激信息；
第一采集单元，用于采集用户观看显示设备所产生的第二脑电信号；
第四选择单元，用于根据第二脑电信号，从目标对象中选择用户的感兴趣对象。
优选的，第一选择模块包括：
第五选择单元，用于根据第一脑电信号，从目标对象中选择用户的候选对象；
第四判断单元，用于判断候选对象的预定范围内是否存在其他目标对象；
第三确定单元，若第四判断单元判断为是，则用于确定候选对象所在的预定范围的区域为感兴趣区域；
第二配置单元，用于为感兴趣区域中的每个对象重新配置视觉刺激参数；
第七显示单元，用于将放大后的感兴趣区域的图像在显示屏上显示，并按照重新配置的视觉刺激参数，在显示设备上分别显示感兴趣区域中每个目标对象所对应的第二视觉刺激信息；
第二采集单元，用于采集用户观看显示设备所产生的第二脑电信号；
第六选择单元，用于根据第二脑电信号，从目标对象中选择用户的感兴趣对象。
优选的，还包括：
第一获取模块，用于获取环境图像；
前景提取模块，用于对环境图像进行前景提取，以确定前景图像；
参考图像提取模块，用于从目标数据库中提取参考图像；
第一确定模块，用于将前景图像中，与参考图像的相似度超过预设阈值的对象作为目标对象。
优选的，还包括：
第二选择模块，用于根据获取到的第二选择指令，从候选数据库中选择目标数据库；候选数据库包括家庭环境数据库、医疗环境数据库、室外环境数据库。
优选的，还包括：
第二获取模块，用于获取当前位置信息；
第一查找模块，用于查找与当前位置信息相对应的地点信息；
第二生成模块，用于根据地点信息生成第二选择指令。
优选的，第二选择指令是用户所下达的数据库选择指令。
优选的，第一选择模块包括：
第七选择单元，用于根据第一脑电信号，从目标对象中选择第一待确认对象；
第一输出单元，用于分别输出每个与第一待确认对象相对应的提示信息；
第三确定单元，若获取到与提示信息相对应的确认指令，则用于将对应的第一待确认对象作为感兴趣对象。
优选的，第二选择单元包括：
第一选择子单元，用于选择与第一选择指令相对应的对象作为第一待确认对象；
第一输出子单元，用于分别输出每个与第一待确认对象相对应的提示信息；
第一确定子单元，若获取到与提示信息相对应的确认指令，则用于将对应的第一待确认对象作为感兴趣对象。
优选的，第六选择单元包括：
第二选择子单元，用于根据第二脑电信号，从目标对象中选择第二待确认对象；
第二输出子单元，用于输出与第二待确认对象相对应的提示信息；
第二确定子单元，若获取到与提示信息相对应的确认指令，则用于将第二待确认对象作为感兴趣对象。
优选的，第一输出单元包括：
第一显示子单元，用于在显示屏上显示与第一待确认对象相对应的图像信息；
和/或，
第一播放子单元，用于播放第一待确认对象的名称的语音信息；
第二输出子单元包括：
第二显示子单元，用于在显示屏上显示与第二待确认对象相对应的图像信息；
和/或，
第二播放子单元，用于播放第二待确认对象的名称的语音信息。
优选的，还包括：
第三获取模块，用于获取用户行为；
第二确定模块，若用户行为符合预设的标准行为要求，则用于确定获取到与提示信息相对应的确认指令。
优选的，标准行为要求包括：用户完成以下任意一个或多个行为：
眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为。
与上述方法相对应的，本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行人体辅助机器人的控制方法。
如图2所示，为本申请实施例所提供的第一计算设备示意图，该第一计算设备1000包括：处理器1001、存储器1002和总线1003，存储器1002存储有执行指令，当第一计算设备运行时，处理器1001 与存储器1002之间通过总线1003通信，处理器1001执行存储器1002中存储的如信号灯周期确定方法的步骤。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器 (RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (20)

1.一种人体辅助机器人的控制方法，其特征在于，包括：
在显示设备上分别显示每个目标对象所对应的第一视觉刺激信息；
采集用户观看显示设备所产生的第一脑电信号；
根据第一脑电信号，从目标对象中选择用户的感兴趣对象；
根据感兴趣对象的位置生成机器人控制指令。
2.根据权利要求1所述的方法，其特征在于，所述方法作用于人体辅助机器人，所述人体辅助机器人包括手臂；
步骤根据感兴趣对象的位置生成机器人控制指令包括：
根据感兴趣对象的位置和人体辅助机器人手臂的位置生成手臂移动指令。
3.根据权利要求1所述的方法，其特征在于，所述方法作用于人体辅助机器人，所述人体辅助机器人包括行动部；步骤根据感兴趣对象的位置生成机器人控制指令包括：
根据感兴趣对象的位置和人体辅助机器人的位置生成整体移动指令。
4.根据权利要求1所述的方法，其特征在于，步骤在显示设备上分别显示每个目标对象所对应的第一视觉刺激信息包括：
分别在AR眼镜中每个目标对象的附近，显示与目标对象相对应的第一视觉刺激信息；
或，
将环境图像和第一视觉刺激信息叠加在显示屏上进行显示；第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的；
或，
分别为每个目标对象确定对应的第一视觉刺激参数；
按照目标对象所对应的第一视觉刺激参数，显示每个环境图像中目标对象；
或，
将环境图像中的目标对象和对应的第一视觉刺激信息同时显示在显示屏上；第一视觉刺激信息的显示位置与环境图像中对应的目标对象的显示位置是相关联的。
5.根据权利要求1所述的方法，其特征在于，步骤根据第一脑电信号，从目标对象中选择用户的感兴趣对象包括：
根据第一脑电信号，从目标对象中选择用户的候选对象；
判断候选对象的预定范围内是否存在其他目标对象；
若存在，则确定候选对象所在的预定范围的区域为感兴趣区域；
将放大后的感兴趣区域的图像在显示屏上显示；
根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定对象作为感兴趣对象。
6.根据权利要求1所述的方法，其特征在于，步骤根据第一脑电信号，从目标对象中选择用户的感兴趣对象包括：
根据第一脑电信号，从目标对象中选择用户的候选对象；
判断候选对象的预定范围内是否存在其他目标对象；
若存在，则确定候选对象所在的预定范围的区域为感兴趣区域；
为感兴趣区域中的每个对象重新配置视觉刺激参数；
按照重新配置的视觉刺激参数，在显示设备上分别显示感兴趣区域中每个目标对象所对应的第二视觉刺激信息；
采集用户观看显示设备所产生的第二脑电信号；
根据第二脑电信号，从目标对象中选择用户的感兴趣对象。
7.根据权利要求1所述的方法，其特征在于，步骤根据第一脑电信号，从目标对象中选择用户的感兴趣对象包括：
根据第一脑电信号，从目标对象中选择用户的候选对象；
判断候选对象的预定范围内是否存在其他目标对象；
若存在，则确定候选对象所在的预定范围的区域为感兴趣区域；
为感兴趣区域中的每个对象重新配置视觉刺激参数；
将放大后的感兴趣区域的图像在显示屏上显示，并按照重新配置的视觉刺激参数，在显示设备上分别显示感兴趣区域中每个目标对象所对应的第二视觉刺激信息；
采集用户观看显示设备所产生的第二脑电信号；
根据第二脑电信号，从目标对象中选择用户的感兴趣对象。
8.根据权利要求1所述的方法，其特征在于，还包括：
获取环境图像；
对环境图像进行前景提取，以确定前景图像；
从目标数据库中提取参考图像；
将前景图像中，与参考图像的相似度超过预设阈值的对象作为目标对象。
9.根据权利要求8所述的方法，其特征在于，还包括：
根据获取到的第二选择指令，从候选数据库中选择目标数据库；候选数据库包括家庭环境数据库、医疗环境数据库、室外环境数据库。
10.根据权利要求9所述的方法，其特征在于，还包括：
获取当前位置信息；
查找与当前位置信息相对应的地点信息；
根据地点信息生成第二选择指令。
11.根据权利要求9所述的方法，其特征在于，
第二选择指令是用户所下达的数据库选择指令。
12.根据权利要求1所述的方法，其特征在于，步骤根据第一脑电信号，从目标对象中选择用户的感兴趣对象包括：
根据第一脑电信号，从目标对象中选择第一待确认对象；
分别输出每个与第一待确认对象相对应的提示信息；
若获取到与提示信息相对应的确认指令，则将对应的第一待确认对象作为感兴趣对象。
13.根据权利要求5所述的方法，其特征在于，步骤根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定对象作为感兴趣对象包括：
选择与第一选择指令相对应的对象作为第一待确认对象；
分别输出每个与第一待确认对象相对应的提示信息；
若获取到与提示信息相对应的确认指令，则将对应的第一待确认对象作为感兴趣对象。
14.根据权利要求6或7任一项所述的方法，其特征在于，步骤根据第二脑电信号，从目标对象中选择用户的感兴趣对象包括：
根据第二脑电信号，从目标对象中选择第二待确认对象；
输出与第二待确认对象相对应的提示信息；
若获取到与提示信息相对应的确认指令，则将第二待确认对象作为感兴趣对象。
15.根据权利要求12-14任一项所述的方法，其特征在于，
步骤分别输出每个与第一待确认对象相对应的提示信息包括：
在显示屏上显示与第一待确认对象相对应的图像信息；
和/或，播放第一待确认对象的名称的语音信息；
步骤输出与第二待确认对象相对应的提示信息包括：
在显示屏上显示与第二待确认对象相对应的图像信息；
和/或，播放第二待确认对象的名称的语音信息。
16.根据权利要求12-14任一项所述的方法，其特征在于，还包括：
获取用户行为；
若用户行为符合预设的标准行为要求，则确定获取到与提示信息相对应的确认指令。
17.根据权利要求16所述的方法，其特征在于，标准行为要求包括：用户完成以下任意一个或多个行为：
眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为。
18.一种人体辅助机器人的控制装置，其特征在于，包括：
显示模块，用于在显示设备上分别显示每个目标对象所对应的第一视觉刺激信息；
采集模块，用于采集用户观看显示设备所产生的第一脑电信号；
第一选择模块，用于根据第一脑电信号，从目标对象中选择用户的感兴趣对象；
第一生成模块，用于根据感兴趣对象的位置生成机器人控制指令。
19.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-17任一所述方法。
20.一种计算设备包括：处理器、存储器和总线，存储器存储有执行指令，当计算设备运行时，处理器与存储器之间通过总线通信，处理器执行存储器中存储的如权利要求1-17任一所述方法。
CN201811290871.6A 2018-10-31 2018-10-31 一种人体辅助机器人的控制方法及装置 Active CN109558004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811290871.6A CN109558004B (zh) 2018-10-31 2018-10-31 一种人体辅助机器人的控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811290871.6A CN109558004B (zh) 2018-10-31 2018-10-31 一种人体辅助机器人的控制方法及装置

Publications (2)

Publication Number Publication Date
CN109558004A true CN109558004A (zh) 2019-04-02
CN109558004B CN109558004B (zh) 2020-10-16

Family

ID=65865790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811290871.6A Active CN109558004B (zh) 2018-10-31 2018-10-31 一种人体辅助机器人的控制方法及装置

Country Status (1)

Country Link
CN (1) CN109558004B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114662A (zh) * 2020-08-03 2020-12-22 西安交通大学 一种现实增强的自适应动态多场景诱发脑控方法
CN113419537A (zh) * 2021-07-08 2021-09-21 西安理工大学 一种面向移动机器人自主运动的脑机融合控制方法及系统
CN115309272A (zh) * 2022-10-11 2022-11-08 季华实验室 一种多智能体控制方法、装置及电子设备
CN116009703A (zh) * 2023-03-27 2023-04-25 深圳市心流科技有限公司 智能仿生手的手势控显方法、设备、智能仿生手及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130158883A1 (en) * 2010-09-01 2013-06-20 National Institute Of Advanced Industrial Science And Technology Intention conveyance support device and method
CN104799984A (zh) * 2015-05-14 2015-07-29 华东理工大学 基于脑控移动眼的残疾人辅助系统及其控制方法
CN105549743A (zh) * 2016-01-18 2016-05-04 中国医学科学院生物医学工程研究所 一种基于脑-机接口的机器人系统及实现方法
CN106774847A (zh) * 2016-11-24 2017-05-31 天津大学 基于虚拟现实技术的三维视觉P300‑Speller系统
CN106791620A (zh) * 2016-12-05 2017-05-31 西南石油大学 基于ar技术和地理信息技术的埋地管线巡检方法及装置
CN106859645A (zh) * 2017-03-06 2017-06-20 广东工业大学 基于vr技术和ssvep的可穿戴设备及脑电采集系统
CN106875493A (zh) * 2017-02-24 2017-06-20 广东电网有限责任公司教育培训评价中心 Ar眼镜中虚拟目标物的叠加方法
CN106994689A (zh) * 2016-01-23 2017-08-01 鸿富锦精密工业(武汉)有限公司 基于脑电信号控制的智能机器人系统和方法
CN107172390A (zh) * 2017-05-12 2017-09-15 广州市和佳电子科技有限公司 一种基于智能眼镜为终端平台的可视化系统及实现方法
CN108415568A (zh) * 2018-02-28 2018-08-17 天津大学 基于模态迁移复杂网络的机器人智能意念控制方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130158883A1 (en) * 2010-09-01 2013-06-20 National Institute Of Advanced Industrial Science And Technology Intention conveyance support device and method
CN104799984A (zh) * 2015-05-14 2015-07-29 华东理工大学 基于脑控移动眼的残疾人辅助系统及其控制方法
CN105549743A (zh) * 2016-01-18 2016-05-04 中国医学科学院生物医学工程研究所 一种基于脑-机接口的机器人系统及实现方法
CN106994689A (zh) * 2016-01-23 2017-08-01 鸿富锦精密工业(武汉)有限公司 基于脑电信号控制的智能机器人系统和方法
CN106774847A (zh) * 2016-11-24 2017-05-31 天津大学 基于虚拟现实技术的三维视觉P300‑Speller系统
CN106791620A (zh) * 2016-12-05 2017-05-31 西南石油大学 基于ar技术和地理信息技术的埋地管线巡检方法及装置
CN106875493A (zh) * 2017-02-24 2017-06-20 广东电网有限责任公司教育培训评价中心 Ar眼镜中虚拟目标物的叠加方法
CN106859645A (zh) * 2017-03-06 2017-06-20 广东工业大学 基于vr技术和ssvep的可穿戴设备及脑电采集系统
CN107172390A (zh) * 2017-05-12 2017-09-15 广州市和佳电子科技有限公司 一种基于智能眼镜为终端平台的可视化系统及实现方法
CN108415568A (zh) * 2018-02-28 2018-08-17 天津大学 基于模态迁移复杂网络的机器人智能意念控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114662A (zh) * 2020-08-03 2020-12-22 西安交通大学 一种现实增强的自适应动态多场景诱发脑控方法
CN113419537A (zh) * 2021-07-08 2021-09-21 西安理工大学 一种面向移动机器人自主运动的脑机融合控制方法及系统
CN115309272A (zh) * 2022-10-11 2022-11-08 季华实验室 一种多智能体控制方法、装置及电子设备
CN116009703A (zh) * 2023-03-27 2023-04-25 深圳市心流科技有限公司 智能仿生手的手势控显方法、设备、智能仿生手及介质

Also Published As

Publication number Publication date
CN109558004B (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
US10515488B2 (en) Image processing device, image processing method, and program
CN109558004A (zh) 一种人体辅助机器人的控制方法及装置
CN110770678B (zh) 对象全息增强
US11030237B2 (en) Method and apparatus for identifying input features for later recognition
CN106484085B (zh) 在头戴式显示器中显示真实物体的方法及其头戴式显示器
DE112015002463T5 (de) Systeme und Verfahren zum gestischen Interagieren in einer im Umfeld vorhandenen Computerumgebung
US7680295B2 (en) Hand-gesture based interface apparatus
EP3721320B1 (en) Communication methods and systems
KR102466438B1 (ko) 인지 기능 평가 시스템 및 인지 기능 평가 방법
US20190329364A1 (en) Object Recognition and Presentation for the Visually Impaired
CN106663365A (zh) 基于用户输入获得控制系统的手势区域定义数据的方法
CN109551489A (zh) 一种人体辅助机器人的控制方法及装置
CN111487980B (zh) 智能设备的控制方法、存储介质及电子设备
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
CN109144235A (zh) 基于头手协同动作的人机交互方法与系统
CN112733571A (zh) 机器人的控制方法、设备和存储介质
CN113811954A (zh) 存储和呈现用户的音频和/或视觉内容
US20240115238A1 (en) Ultrasound scanner with display interface
CN106095088A (zh) 一种电子设备及其图像处理方法
Blauw What tool can be designed to guide a pig farmer to a relevant sow in the pig barn
CN117472040A (zh) 自移动设备的控制方法、设备及存储介质
Milligan Selecting and commanding groups of robots using a Vision-based natural user interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A control method and device for human assisted robot

Effective date of registration: 20220523

Granted publication date: 20201016

Pledgee: Bank of Jiangsu Limited by Share Ltd. Hangzhou branch

Pledgor: HANGZHOU CHENGTIAN TECHNOLOGY DEVELOPMENT Co.,Ltd.

Registration number: Y2022980006028

PE01 Entry into force of the registration of the contract for pledge of patent right