CN106074021B - 基于脑机接口的智能轮椅系统及其动作方法 - Google Patents
基于脑机接口的智能轮椅系统及其动作方法 Download PDFInfo
- Publication number
- CN106074021B CN106074021B CN201610405583.5A CN201610405583A CN106074021B CN 106074021 B CN106074021 B CN 106074021B CN 201610405583 A CN201610405583 A CN 201610405583A CN 106074021 B CN106074021 B CN 106074021B
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- wheel chair
- brain
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Manipulator (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于脑机接口的智能轮椅系统及其动作方法，属于脑机接口应用研究及智能轮椅领域，所述基于脑机接口的智能轮椅系统包括脑机接口系统、控制系统、视觉系统、智能轮椅本体、执行机构和电源管理系统，所述脑机接口系统用于与患者的大脑连接，所述控制系统、视觉系统和执行机构均设置在所述智能轮椅本体上，所述控制系统的信号输入端分别连接所述脑电信号处理器的信号输出端和视觉系统，所述控制系统的信号输出端和视觉系统分别连接所述智能轮椅本体和执行机构。本发明既能够实现基本的智能性，又能帮助患者完成最基本的一些生活照料，提高了患者自理能力，改善了患者生活质量。
Description
技术领域
本发明涉及脑机接口应用研究及智能轮椅领域，具体涉及一种基于脑机接口的智能轮椅系统及其动作方法。
背景技术
人口老龄化的加速必然导致老龄人口健康问题凸显，高龄、失能和患病老年人的照料护理问题，更应该得到社会的普遍关注。但由于老年人医疗服务型行业发展的不完善性，制定出相应对策显得尤为迫切。
脑机接口(Brain-Computer Interface，BCI)是一种新颖的人机接口方式。它是基于脑电信号，实现人脑与计算机或其他设备通讯和控制的系统，而不依赖于脑的正常输出通路(外周神经系统及肌肉组织)，是一种全新的通讯和控制方式，在康复医学和控制等领域有着较广阔的应用前景。
目前智能轮椅可以实现自主定位、导航、避障等功能，但是一些患者最基本的一些照料(倒茶、喝水、开抽屉等)还是需要看护人帮助，对于一些患者可以通过语言或肢体语言表达自己的意图，但是针对一部分完全丧失了运动能力和语言表达能力的患者，他们仅仅保留了正常人的思维能力，看护人并不能真正“读懂”这些患者的意图。
发明内容
本发明要解决的技术问题是提供一种既能够实现基本的智能性(自主定位、导航、避障等功能)，又能帮助患者完成最基本的一些生活照料(倒茶、喝水、开抽屉等)，提高患者自理能力，改善患者生活质量的基于脑机接口的智能轮椅系统及其动作方法。
为解决上述技术问题，本发明提供技术方案如下：
一种基于脑机接口的智能轮椅系统，包括脑机接口系统、控制系统、视觉系统、智能轮椅本体、执行机构以及用于为各部分供电的电源管理系统，其中：
所述脑机接口系统用于与患者的大脑连接，所述脑机接口系统包括依次连接的若干干电极、多级放大电路、多级滤波电路和脑电信号处理器；
所述控制系统、视觉系统和执行机构均设置于所述智能轮椅本体上，所述脑电信号处理器和视觉系统的信号输出端均连接所述控制系统的信号输入端，所述控制系统的信号输出端分别连接所述智能轮椅本体和执行机构，所述视觉系统的信号输出端还连接所述智能轮椅本体和执行机构。
进一步的，所述脑机接口系统还包括参考电极和接地电极，所述参考电极和接地电极分别与所述多级放大电路连接。
进一步的，所述电源管理系统和控制系统均设置于所述智能轮椅本体的下部，所述电源管理系统为自主充电方式。
进一步的，所述执行机构包括机械臂和设置于所述机械臂末端的机械手，所述机械臂设置于所述智能轮椅本体的一侧。
进一步的，所述机械臂上设置有防碰撞传感器系统，所述机械手上设置有压力传感器。
进一步的，所述视觉系统包括智能轮椅视觉系统和外部视觉系统，所述智能轮椅视觉系统设置于所述机械臂的最后一关节上，所述外部视觉系统设置于室内的天花板上或墙壁上。
进一步的，所述脑机接口系统设置于用于患者佩戴的电极帽上。
上述基于脑机接口的智能轮椅系统的动作方法，包括：
步骤1：预先在所述机械手需要完成操作的任务目标上粘贴二维码；患者先佩戴电极帽，然后对想要进行的某一自理行为产生相应的原始脑电信号；
步骤2：所述电极帽上的所述干电极采集所述原始脑电信号，并结合所述参考电极和接地电极得到较可靠的所述原始脑电信号；
步骤3：所述原始脑电信号经过所述多级放大电路、多级滤波电路和脑电信号处理器得到所述控制系统可以识别的控制指令，所述控制指令传输至所述控制系统；
步骤4：所述控制系统接受到所述控制指令，并完成相应的任务规划，所述任务规划包括任务目标的识别定位、对任务目标的操作、将任务目标送至原处；
步骤5：所述视觉系统对任务目标进行定位，之后所述智能轮椅本体在所述控制系统的控制下移动至任务目标处；
步骤6：所述智能轮椅视觉系统采集任务目标的图像信息，并对任务目标进行定位，定位完成后，所述智能轮椅视觉系统对任务目标的图像进行精确的大小、形状及轮廓的识别；
步骤7：对任务目标完成精确的定位识别后，所述外部视觉系统进行所述智能轮椅本体和任务目标之间的测距定位，以及任务目标的三维坐标的推算；
步骤8：所述控制系统计算以所述机械臂的基座为原点的坐标系，完成所述机械臂与任务目标的点坐标的推算，规划所述机械臂的运行轨迹，并记忆此次运行轨迹，根据对任务目标的识别定位，所述机械手完成对任务目标的所有操作；
步骤9：之后，所述机械臂以记忆的运行轨迹回到原来的位置，完成一次控制指令任务。
进一步的，所述步骤5中，如果任务目标位于所述智能轮椅本体附近，则直接执行步骤6至步骤9；如果任务目标被遮挡或不在所述智能轮椅本体附近，则所述外部视觉系统采用三维点云的分割对任务目标进行检测和定位，并采用基于SURF特征匹配的方法实现对任务目标的识别，协调所述控制系统控制所述智能轮椅本体移动至所述智能轮椅视觉系统可以识别任务目标的位置，然后执行步骤6至步骤9。
进一步的，所述步骤6包括：
步骤61：所述智能轮椅视觉系统采集任务目标的图像信息；
步骤62：将采集的任务目标的图像信息由RGB模型转换为HSL模型，公式如下；
其中：
步骤63：为了正确表示色度H的相似性度量，计算两种颜色的距离时，使用色度H的三角函数进行表示，由于色度H和饱和度S相对独立，对这两个分量分别进行相似度量，对亮度L可以选取较大的范围以适应不同的光照条件，再将这三个分量的相似度量的结果取交集，将所述模型采用分割策略如下：
其中：h∈(0°，360°)，h，s，l为目标颜色值，H，S，L为目标理想颜色值，DIFF_H，DIFF_S，DIFF_L分别为允许的最大色度、饱和度、亮度变化范围；由此得到分割的二值图像；
步骤64：对所述分割的二值图像选取若干较大面积的连通区，将小面积的连通区当作背景噪声，通过区域填充方法将所述背景噪声去除，得到第一图像；
步骤65：采用形态学滤波法将所述第一图像中的洞和突刺滤掉，得到第二图像；
步骤66：将所述第二图像的信息对所述任务目标的连通区的外轮廓进行提取，提取结果为一封闭曲线；
步骤67：采用几何不变矩方法计算所述封闭曲线，得到所述封闭曲线的不变矩，最后通过比较所述封闭曲线的不变矩和模板样本的不变矩之间的欧式距离实现任务目标的识别。
本发明具有以下有益效果：
与现有技术相比，本发明的基于脑机接口的智能轮椅系统采用脑机接口系统、控制系统和视觉系统将患者的大脑与智能轮椅及智能轮椅上的执行机构连接，除了可以实现自主定位、导航、避障等功能外，还可以真正读懂患者的意图，协助患者完成最基本的一些照料(倒茶、喝水、开抽屉等)，患者通过脑机接口系统和控制系统能够实现对执行机构的控制，提高自理能力，改善生活质量。同时，本发明提供的动作方法，可以准确的实现目标的识别和定位，执行机构可以很精准的完成患者对自己的照料。
附图说明
图1为本发明的基于脑机接口的智能轮椅系统及其动作方法的智能轮椅系统示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
一方面，提供一种基于脑机接口的智能轮椅系统，如图1所示，包括脑机接口系统1、控制系统2、视觉系统3、智能轮椅本体4、执行机构5以及用于为各部分供电的电源管理系统(未示出)，其中：
所述脑机接口系统1用于与患者的大脑连接，脑机接口系统1包括依次连接的若干干电极11、多级放大电路12、多级滤波电路13和脑电信号处理器14；
控制系统2、视觉系统3和执行机构5均设置在智能轮椅本体4上，脑电信号处理器14和视觉系统3的信号输出端均连接控制系统2的信号输入端，控制系统2的信号输出端分别连接智能轮椅本体4和执行机构5，视觉系统3的信号输出端还连接智能轮椅本体4和执行机构5。
本发明的基于脑机接口的智能轮椅系统采用脑机接口系统、控制系统和视觉系统将患者的大脑与智能轮椅及智能轮椅上的执行机构连接，除了可以实现自主定位、导航、避障等功能外，还可以真正读懂患者的意图，协助患者完成最基本的一些照料(倒茶、喝水、开抽屉等)，患者通过脑机接口系统和控制系统能够实现对执行机构的控制，提高自理能力，改善生活质量。
作为本发明的一种改进，脑机接口系统1还可以包括参考电极15和接地电极16，参考电极15和接地电极16分别与多级放大电路12连接。参考电极15和接地电极16有助于脑电信号的采集分析与干扰的排除。
优选的，电源管理系统和控制系统2均可以设置于智能轮椅本体4的下部，电源管理系统为自主充电方式。电源管理系统和控制系统2设置于智能轮椅本体4的下部，有利于节省空间，使得智能轮椅系统的整体结构紧凑、美观；电源管理系统可以为各个系统、运动及执行机构等提供能源，保证各系统、运动及执行机构的正常运行，并且具有低压保护、报警等功能，在低电压时可进行低压保护，并通过报警提示电量过低，停止智能轮椅系统执行任务，并自主移动到“充电室”进行自主充电；控制系统2主要用于控制指令的处理、任务的规划、各系统的控制以及智能轮椅本体4的自主运行等。
进一步的，执行机构5优选包括机械臂51和设置于机械臂51末端的机械手52，机械臂51可以设置于智能轮椅本体4的一侧。机械臂51和机械手52均为多自由度机械臂，优选设置于智能轮椅本体4的右侧，相当于患者的手臂和手，符合大部分患者通常使用右手操作事物的习惯，能够灵活地对物体进行抓取及其他操作。
优选的，机械臂51上可以设置有防碰撞传感器系统，机械手52上可以设置有压力传感器。防碰撞传感器系统能够避免机械臂51和机械手52在对物体进行抓取或其他操作时碰到其它障碍物，压力传感器用于控制机械手52的力度避免损害所操作的物体。
作为本发明的另一种改进，视觉系统3优选包括智能轮椅视觉系统和外部视觉系统，智能轮椅视觉系统可以设置于机械臂51的最后一关节上，外部视觉系统可以设置于室内的天花板上或墙壁上。智能轮椅视觉系统是智能轮椅本身的视觉系统，相当于对任务目标操作时患者的眼睛，用于对任务目标的图像信息采集、任务目标的识别定位、任务目标的坐标推算以及机械手52的防碰撞；外部视觉系统用于协助智能轮椅本体和任务目标的定位，以及任务目标的三维坐标的推算，便于智能轮椅本体4移动到任务目标附近以及机械手52对任务目标的准确识别和操作。
进一步的，脑机接口系统1优选设置于用于患者佩戴的电极帽上。患者通过佩戴电极帽使得干电极11、参考电极15和接地电极16获取患者的原始脑电信号，干电极11、参考电极15和接地电极16将获取的原始脑电信号经过多级放大电路12进行信号放大，然后经过多级滤波电路13滤掉噪音等干扰信号，最后进入脑电信号处理器14进行提取识别并得到想要的脑电信号，脑电信号处理器14将该想要的脑电信号模拟信号转换为数字信号，该数字信号可以经无线传输的方式传输至控制系统2。
另一方面，提供一种上述基于脑机接口的智能轮椅系统的动作方法，以喝水为例，包括：
步骤1：预先在机械手52需要完成操作的水杯上粘贴二维码；患者先佩戴电极帽，然后对想要进行的喝水这一自理行为产生相应的原始脑电信号；
步骤2：电极帽上的干电极11采集原始脑电信号，并结合参考电极15和接地电极16得到较可靠的原始脑电信号；
步骤3：原始喝水指令脑电信号经过多级放大电路12、多级滤波电路13和脑电信号处理器14得到控制系统2可以识别的喝水控制指令，喝水控制指令传输至控制系统2；
步骤4：控制系统2接受到合数控制指令，并完成与喝水相应的任务规划，任务规划包括水杯的识别定位、水杯的端起、将水杯送至患者嘴边、将水杯送至原处等；
步骤5：视觉系统3对水杯进行定位，之后智能轮椅本体4在控制系统2的控制下移动至水杯处；
步骤6：智能轮椅视觉系统采集水杯的图像信息，并对水杯进行定位，定位完成后，智能轮椅视觉系统对水杯的图像进行精确的大小、形状及轮廓的识别，便于机械手52对水杯的抓取；
步骤7：对水杯完成精确的定位识别后，外部视觉系统进行智能轮椅本体4和水杯之间的测距定位，以及水杯的三维坐标的推算；
步骤8：控制系统2计算以机械臂51的基座为原点的坐标系，完成机械臂51与水杯的点坐标的推算，规划机械臂51的运行轨迹，并记忆此次运行轨迹，根据对水杯的识别定位，机械手52完成对水杯的抓取并将水杯端起送至患者嘴边；
步骤9：之后，机械臂51以记忆的运行轨迹回到原来的位置，将水杯放置原来的位置，完成喝水这一控制指令任务。
本发明提供的动作方法，可以准确的实现目标的识别和定位，执行机构可以很精准的完成患者对自己的照料。
作为本发明的一种改进，步骤5中，如果水杯位于智能轮椅本体4附近，则直接执行步骤6至步骤9；如果水杯被遮挡或不在智能轮椅本体4附近，则外部视觉系统采用三维点云的分割对水杯进行检测和定位，并采用基于SURF特征匹配的方法实现对水杯的识别，协调控制系统2控制智能轮椅本体4移动至智能轮椅视觉系统可以识别水杯的位置，然后执行步骤6至步骤9。外部视觉系统与智能轮椅视觉系统的结合使用，可以更加准确的检测和定位到水杯的位置，便于机械手52对水杯的各种操作。
进一步的，步骤6可以包括：
步骤61：智能轮椅视觉系统采集水杯的图像信息；
步骤62：将采集的水杯的图像信息由RGB模型转换为HSL模型，公式如下；
其中：
由于水杯在RGB色彩空间中，R，G，B的分量是高度相关的，只要亮度改变，R，G，B的分量值都会相应盖面，很难找到稳定的描述规则，不适合对水杯的图像的分割和分析，但是在HSL色彩空间，色度分量H与亮度分量L是分开的，亮度分量L与图像的颜色信息无关，色度分量H和饱和度分量S概念上相互独立并与颜色的视觉感知紧密相关，因此水杯的图像信息可以采用HSL模型进行很好的分割和分析；
步骤63：为了正确表示色度H的相似性度量，计算两种颜色的距离时，使用色度H的三角函数进行表示，由于色度H和饱和度S相对独立，对这两个分量分别进行相似度量，对亮度L可以选取较大的范围以适应不同的光照条件，再将这三个分量的相似度量的结果取交集，将所述模型采用分割策略如下：
其中：h∈(0°，360°)，h，s，l为目标颜色值，H，S，L为目标理想颜色值，DIFF_H，DIFF_S，DIFF_L分别为允许的最大色度、饱和度、亮度变化范围；由此得到分割的二值图像；
步骤64：对分割的二值图像会存在一定的干扰块，可以根据区域的面积大小去除小面积的干扰，选取若干较大面积的连通区，将小面积的连通区当作背景噪声，通过区域填充方法将所述背景噪声去除，得到第一图像，可以采取以下方式进行判断区域的面积大小，
其中，T为阈值，0＜T＜1，本实施例中，T取0.5；
步骤65：采用形态学滤波法将第一图像中的洞和突刺滤掉，得到第二图像，第一图像中的洞和突刺会对图像的轮廓的提取存在一定的影响，故要滤掉；
步骤66：将第二图像的信息对水杯的连通区的外轮廓进行提取，提取结果为一封闭曲线，提取方式可以采用链码跟踪方法，首先按照从左到右，从上到下的顺序查找轮廓起点，再按照右、右下、下、左下的顺序查找第二个轮廓点，然后按照右、右下、下、左下、左、左上、上、上右的顺序查找其他轮廓点，直到回到轮廓起点，则轮廓跟踪结束；
步骤67：采用几何不变矩方法计算所述封闭曲线，得到封闭曲线的不变矩，最后通过比较封闭曲线的不变矩和模板样本的不变矩之间的欧式距离实现水杯的识别，本实施例中采用Hu提出的不变矩法进行计算(Hu,Mingkuei.Visual pattern recognition bymoment invariants[J].Information Theory Ire Transactions on,1962,8(2):179-187.)，Hu不变矩具有平移、比例和旋转不变性，在图像识别的过程中能减少对待测图像的大小归一化和位置居中等预处理的步骤，降低运算成本，提高运算速率。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种基于脑机接口的智能轮椅系统，其特征在于，包括脑机接口系统、控制系统、视觉系统、智能轮椅本体、执行机构以及用于为各部分供电的电源管理系统，其中：
所述脑机接口系统用于与患者的大脑连接，所述脑机接口系统包括依次连接的若干干电极、多级放大电路、多级滤波电路和脑电信号处理器；
所述脑机接口系统还包括参考电极和接地电极，所述参考电极和接地电极分别与所述多级放大电路连接，所述脑机接口系统设置于用于患者佩戴的电极帽上；
所述控制系统、视觉系统和执行机构均设置于所述智能轮椅本体上，所述脑电信号处理器和视觉系统的信号输出端均连接所述控制系统的信号输入端，所述控制系统的信号输出端分别连接所述智能轮椅本体和执行机构，所述视觉系统的信号输出端还连接所述智能轮椅本体和执行机构；
所述执行机构包括机械臂和设置于所述机械臂末端的机械手，所述机械臂设置于所述智能轮椅本体的一侧；
所述视觉系统包括智能轮椅视觉系统和外部视觉系统，所述智能轮椅视觉系统设置于所述机械臂的最后一关节上，所述外部视觉系统设置于室内的天花板上或墙壁上；基于所述脑机接口的智能轮椅系统的动作方法包括：
步骤1：预先在所述机械手需要完成操作的任务目标上粘贴二维码；患者先佩戴电极帽，然后对想要进行的某一自理行为产生相应的原始脑电信号；
步骤2：所述电极帽上的所述干电极采集所述原始脑电信号，并结合所述参考电极和接地电极得到较可靠的所述原始脑电信号；
步骤3：所述原始脑电信号经过所述多级放大电路、多级滤波电路和脑电信号处理器得到所述控制系统可以识别的控制指令，所述控制指令传输至所述控制系统；
步骤4：所述控制系统接受到所述控制指令，并完成相应的任务规划，所述任务规划包括任务目标的识别定位、对任务目标的操作、将任务目标送至原处；
步骤5：所述视觉系统对任务目标进行定位，之后所述智能轮椅本体在所述控制系统的控制下移动至任务目标处；
步骤6：所述智能轮椅视觉系统采集任务目标的图像信息，并对任务目标进行定位，定位完成后，所述智能轮椅视觉系统对任务目标的图像进行精确的大小、形状及轮廓的识别；
步骤7：对任务目标完成精确的定位识别后，所述外部视觉系统进行所述智能轮椅本体和任务目标之间的测距定位，以及任务目标的三维坐标的推算；
步骤8：所述控制系统计算以所述机械臂的基座为原点的坐标系，完成所述机械臂与任务目标的点坐标的推算，规划所述机械臂的运行轨迹，并记忆此次运行轨迹，根据对任务目标的识别定位，所述机械手完成对所述目标的所有操作；
步骤9：之后，所述机械臂以记忆的运行轨迹回到原来的位置，完成一次控制指令任务。
2.根据权利要求1所述的基于脑机接口的智能轮椅系统，其特征在于，所述电源管理系统和控制系统均设置于所述智能轮椅本体的下部，所述电源管理系统为自主充电方式。
3.根据权利要求2所述的基于脑机接口的智能轮椅系统，其特征在于，所述机械臂上设置有防碰撞传感器系统，所述机械手上设置有压力传感器。
4.根据权利要求1至3中任一所述的基于脑机接口的智能轮椅系统，其特征在于，所述步骤5中，如果任务目标位于所述智能轮椅本体附近，则直接执行步骤6至步骤9；如果任务目标被遮挡或不在所述智能轮椅本体附近，则所述外部视觉系统采用三维点云的分割对任务目标进行检测和定位，并采用基于SURF特征匹配的方法实现对任务目标的识别，协调所述控制系统控制所述智能轮椅本体移动至所述智能轮椅视觉系统可以识别任务目标的位置，然后执行步骤6至步骤9。
5.根据权利要求1至3中任一所述的基于脑机接口的智能轮椅系统，其特征在于，所述步骤6包括：
步骤61：所述智能轮椅视觉系统采集任务目标的图像信息；
步骤62：将采集的任务目标的图像信息由RGB模型转换为HSL模型，公式如下；
<mrow>
<mi>H</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>&theta;</mi>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>B</mi>
<mo>&le;</mo>
<mi>G</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>2</mn>
<mi>&pi;</mi>
<mo>-</mo>
<mi>&theta;</mi>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>B</mi>
<mo>></mo>
<mi>G</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<mi>S</mi>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mrow>
<mn>3</mn>
<mo>&lsqb;</mo>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>,</mo>
<mi>G</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mi>R</mi>
<mo>+</mo>
<mi>G</mi>
<mo>+</mo>
<mi>B</mi>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>L</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>R</mi>
<mo>+</mo>
<mi>G</mi>
<mo>+</mo>
<mi>B</mi>
</mrow>
<mn>3</mn>
</mfrac>
</mrow>
其中：
步骤63：为了正确表示色度H的相似性度量，计算两种颜色的距离时，使用色度H的三角函数进行表示，由于色度H和饱和度S相对独立，对这两个分量分别进行相似度量，对亮度L选取较大的范围以适应不同的光照条件，再将这三个分量的相似度量的结果取交集，将所述模型采用分割策略如下：
<mrow>
<mi>p</mi>
<mi>i</mi>
<mi>x</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mi>h</mi>
<mo>-</mo>
<mi>H</mi>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mi>I</mi>
<mi>F</mi>
<mi>F</mi>
<mo>_</mo>
<mi>H</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi> </mi>
<mi>s</mi>
<mo>-</mo>
<mi>S</mi>
<mo><</mo>
<mi>D</mi>
<mi>I</mi>
<mi>F</mi>
<mi>F</mi>
<mo>_</mo>
<mi>S</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi> </mi>
<mi>l</mi>
<mo>-</mo>
<mi>L</mi>
<mo><</mo>
<mi>D</mi>
<mi>I</mi>
<mi>F</mi>
<mi>F</mi>
<mo>_</mo>
<mi>L</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>255</mn>
</mtd>
<mtd>
<mrow>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中：h∈(0°，360°)，h，s，l为目标颜色值，H，S，L为目标理想颜色值，DIFF_H，DIFF_S，DIFF_L分别为允许的最大色度、饱和度、亮度变化范围；
由此得到分割的二值图像；
步骤64：对所述分割的二值图像选取若干较大面积的连通区，将小面积的连通区当作背景噪声，通过区域填充方法将所述背景噪声去除，得到第一图像；
步骤65：采用形态学滤波法将所述第一图像中的洞和突刺滤掉，得到第二图像；
步骤66：将所述第二图像的信息对任务目标的连通区的外轮廓进行提取，提取结果为一封闭曲线；
步骤67：采用几何不变矩方法计算所述封闭曲线，得到所述封闭曲线的不变矩，最后通过比较所述封闭曲线的不变矩和模板样本的不变矩之间的欧式距离实现任务目标的识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610405583.5A CN106074021B (zh) | 2016-06-08 | 2016-06-08 | 基于脑机接口的智能轮椅系统及其动作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610405583.5A CN106074021B (zh) | 2016-06-08 | 2016-06-08 | 基于脑机接口的智能轮椅系统及其动作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106074021A CN106074021A (zh) | 2016-11-09 |
| CN106074021B true CN106074021B (zh) | 2018-02-02 |
Family
ID=57229144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610405583.5A Active CN106074021B (zh) | 2016-06-08 | 2016-06-08 | 基于脑机接口的智能轮椅系统及其动作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106074021B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106726209B (zh) * | 2016-11-24 | 2018-08-14 | 中国医学科学院生物医学工程研究所 | 一种基于脑机接口与人工智能的智能轮椅控制方法 |
| CN106671084B (zh) | 2016-12-20 | 2019-11-15 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助方法 |
| CN111542294A (zh) * | 2017-12-29 | 2020-08-14 | 四川金瑞麒智能科学技术有限公司 | 一种智能轮椅系统 |
| CN110916651A (zh) * | 2018-09-20 | 2020-03-27 | 深圳先进技术研究院 | 一种皮肤干电极 |
| TWI692352B (zh) * | 2018-09-27 | 2020-05-01 | 醫百科技股份有限公司 | 具主動偵測自走式人工智慧手術導航推車 |
| CN109144277B (zh) * | 2018-10-19 | 2021-04-27 | 东南大学 | 一种基于机器学习实现脑控智能小车的构建方法 |
| CN109620493B (zh) * | 2018-12-07 | 2021-06-04 | 西安科技大学 | 基于脑控的残疾人生活辅助装置的控制方法 |
| CN109448835A (zh) * | 2018-12-07 | 2019-03-08 | 西安科技大学 | 一种残疾人生活脑控辅助系统及方法 |
| CN109875777B (zh) * | 2019-02-19 | 2021-08-31 | 西安科技大学 | 一种带有取物功能的轮椅的取物控制方法 |
| CN111953951A (zh) * | 2020-08-14 | 2020-11-17 | 安徽信息工程学院 | 一种基于蓝牙5.0和无线通信的智能遥控床 |
| US20220104959A1 (en) * | 2020-10-07 | 2022-04-07 | Jay Curtis Beavers | Systems, methods, and techniques for eye gaze control of seat and bed positioning |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6560486B1 (en) * | 1999-10-12 | 2003-05-06 | Ivan Osorio | Bi-directional cerebral interface system |
| JP5150942B2 (ja) * | 2006-02-03 | 2013-02-27 | 株式会社国際電気通信基礎技術研究所 | 活動補助システム |
| CN1927551A (zh) * | 2006-09-30 | 2007-03-14 | 电子科技大学 | 一种视导脑声控的残障辅助机器人 |
| CN100574737C (zh) * | 2007-12-26 | 2009-12-30 | 上海电气集团股份有限公司 | 智能轮椅 |
| CN101897640B (zh) * | 2010-08-10 | 2012-01-11 | 北京师范大学 | 一种新型的基于运动想象脑电控制的智能轮椅系统 |
| CN103263324B (zh) * | 2013-05-06 | 2015-07-22 | 西安电子科技大学 | 基于ssvep稳态视觉诱发电位的智能轮椅系统 |
| CN103349595A (zh) * | 2013-07-16 | 2013-10-16 | 杭州电子科技大学 | 基于多模式分层控制的脑机接口智能轮椅 |
| CN103440035A (zh) * | 2013-08-20 | 2013-12-11 | 华南理工大学 | 一种三维空间中的手势识别系统及其识别方法 |
| CN103705352A (zh) * | 2013-12-27 | 2014-04-09 | 南京升泰元机器人科技有限公司 | 基于脑-机接口的智能轮椅及其控制系统和控制方法 |
| CN105549743A (zh) * | 2016-01-18 | 2016-05-04 | 中国医学科学院生物医学工程研究所 | 一种基于脑-机接口的机器人系统及实现方法 |
-
2016
- 2016-06-08 CN CN201610405583.5A patent/CN106074021B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106074021A (zh) | 2016-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106074021B (zh) | 基于脑机接口的智能轮椅系统及其动作方法 | |
| Poggi et al. | A wearable mobility aid for the visually impaired based on embedded 3D vision and deep learning | |
| CN104134060B (zh) | 基于肌电信号和运动传感器的手语翻译和显示发声系统 | |
| Henpraserttae et al. | Accurate activity recognition using a mobile phone regardless of device orientation and location | |
| CN106022213A (zh) | 一种基于三维骨骼信息的人体动作识别方法 | |
| CN107423730A (zh) | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 | |
| CN109366508A (zh) | 一种基于bci的高级机械臂控制系统及其实现方法 | |
| CN110555412B (zh) | 基于rgb和点云相结合的端到端人体姿态识别方法 | |
| CN104899869A (zh) | 基于rgb-d相机和姿态传感器的平面和障碍检测方法 | |
| CN105224104B (zh) | 基于智能手机持握方式的行人运动状态识别方法 | |
| CN103400123A (zh) | 基于三轴加速度传感器及神经网络的步态类型鉴别方法 | |
| CN105739702A (zh) | 用于自然人机交互的多姿态指尖跟踪方法 | |
| CN106200988A (zh) | 一种可穿戴式手语识别装置及手语翻译方法 | |
| CN103576840A (zh) | 基于立体视觉的手势体感控制系统 | |
| CN105989694A (zh) | 一种基于三轴加速度传感器的人体跌倒检测方法 | |
| CN109009887A (zh) | 一种基于脑机接口的人机交互式导航系统及方法 | |
| SG188111A1 (en) | Condition detection methods and condition detection devices | |
| CN114327048B (zh) | 一种基于脑电信号和眼电信号的机械臂控制方法及系统 | |
| CN108042142A (zh) | 一种穿戴式的人体姿态检测及肢体肌力测量系统 | |
| CN109460044A (zh) | 一种基于二维码的机器人归位方法、装置及机器人 | |
| CN110532898A (zh) | 一种基于智能手机多传感器融合的人体活动识别方法 | |
| CN106937909A (zh) | 一种智能辅助盲人眼镜系统 | |
| CN108227905A (zh) | 一种基于表面肌电信号的游戏控制系统 | |
| CN105512490A (zh) | 一种基于虹膜信息检测健康的可穿戴设备 | |
| CN107330369A (zh) | 人体识别机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200623 Address after: 710000 25 / F, block D, Tsinghua Science Park, Keji 2nd Road, Zhangba Street office, hi tech Zone, Xi'an City, Shaanxi Province Patentee after: Xi'an Huinao Intelligent Technology Co.,Ltd. Address before: Fengming Road District of Ji'nan City, Shandong province 250101 No. 1000 port development Patentee before: FENG, Lin |