CN117357351A - 一种电动病床和家电的多模态智能控制方法及装置 - Google Patents
一种电动病床和家电的多模态智能控制方法及装置 Download PDFInfo
- Publication number
- CN117357351A CN117357351A CN202311651273.8A CN202311651273A CN117357351A CN 117357351 A CN117357351 A CN 117357351A CN 202311651273 A CN202311651273 A CN 202311651273A CN 117357351 A CN117357351 A CN 117357351A
- Authority
- CN
- China
- Prior art keywords
- joint
- electric
- head
- personal computer
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000004424 eye movement Effects 0.000 claims abstract description 8
- 210000003128 head Anatomy 0.000 claims description 100
- 210000001508 eye Anatomy 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 31
- 238000013499 data model Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000006855 networking Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000000474 nursing effect Effects 0.000 abstract description 7
- 206010033799 Paralysis Diseases 0.000 abstract description 3
- 230000005611 electricity Effects 0.000 abstract description 2
- 230000004886 head movement Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001769 paralizing effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G7/00—Beds specially adapted for nursing; Devices for lifting patients or disabled persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G7/00—Beds specially adapted for nursing; Devices for lifting patients or disabled persons
- A61G7/05—Parts, details or accessories of beds
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Nursing (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- User Interface Of Digital Computer (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
Abstract
本发明公开了一种电动病床和家电的多模态智能控制方法及装置，包括平板电脑支架，用于固定平板电脑，所述平板电脑支架上设置有对平板电脑的三维位置调节的多角度调节机构；头环，用于实时采集用户头部姿态信号和眼电信号，并对头部姿态信号进行姿态解算，对眼电信号滤波、放大及AD转换，并将数据上传至平板电脑内；平板电脑，用于自适应生成集成控制界面；在本发明中，利用头环采集头动、眼电多模态信号，通过算法识别生成控制指令，帮助瘫痪病人实现电动病床和家电设备的控制，从而实现瘫痪病人的自主护理，减轻医护和家属的护理负担。相比于现有的单模态眼动或脑电电动病床控制系统，本发明提高了系统的控制准确率。
Description
技术领域
本发明属于护理床技术领域，具体涉及一种电动病床和家电的多模态智能控制方法及装置。
背景技术
多模态即多种异构模态数据协同推理；在生物识别中是指整合或融合两种及两种以上生物识别技术，利用其多重生物识别技术的独特优势，并结合数据融合技术，使得认证和识别过程更加精准、安全；与传统的单一生物识别方式的主要区别在于，多模态生物识别技术可通过独立的或多种采集方式合而为一的采集器，采集不同的生物特征并通过分析、判断多种生物识别方式的特征值进行识别和认证；
目前医院现有的电动护理床中配置了手动控制器，病人通过按按键实现护理床的控制，但肢体瘫痪病人不能手动操作按键实现病床的调整，而家属和医护人员无法及时处理患者的需求；为缓解患者日益增长的医疗需求与医疗资源不足之间的矛盾，因此，急需一种能代替手动按键操作的技术方案；
现有技术中有利用相机拍摄用户面部图像，通过分析定位瞳孔和光斑的位置确定用户的注视点；输出相关装置和设备的控制信号，从而实现病房设备的控制；通过红外摄像头追踪眼球运动轨迹来确定用户的操作，这种方法存在控制准确率不高，如果用户戴着眼镜则会严重影响到眼动数据质量造成误触问题；另外还有通过获取脑电信号，经过信号处理与分析实现用户对电动病床的操作，这种方法解决了前一种眼动追踪技术的存在的问题，但脑电信号比眼电信号微弱很多，不易获取且抗干扰性差，要获取准确的脑电信号，需要佩戴多电极脑电帽且要打导电膏，操作较为繁琐，长时间佩戴脑电帽也使用户不舒适。
发明内容
本发明的目的在于提供一种电动病床和家电的多模态智能控制方法及装置，以解决上述背景技术中提出的脑电信号获取难度大，抗干扰性差，以及佩戴不舒适的问题。
为实现上述目的，本发明提供如下技术方案：一种电动病床和家电的多模态智能控制装置，包括
平板电脑支架，用于固定平板电脑，所述平板电脑支架上设置有对平板电脑的三维位置调节的多角度调节机构；
头环，用于实时采集用户头部姿态信号和眼电信号，并对头部姿态信号进行姿态解算，对眼电信号滤波、放大及AD转换，并将数据上传至平板电脑内；
平板电脑，用于自适应生成集成控制界面，将头部姿态信号转换为虚拟鼠标移动的方向和在该方向移动的位置，控制虚拟鼠标在集成控制界面上的移动，构建大数据模型识别眼电信号得出是否眨眼结果，根据眨眼结果点击目标虚拟按键，然后向网关发出对应控制指令；
网关，用于接收所述平板电脑的控制指令，并转发该控制指令到电动病床或家电设备中，并接收电动病床和/或家电设备的设备信息，存储在所述网关中并转发该设备信息至所述平板电脑内；
还包括电动病床和家电设备，其中电动病床和家电设备为用户控制对象，所述电动病床用于接收网关转发的控制指令发送至电动病床和上传电动病床设备信息至网关，Zigbee模块二与网关的Zigbee模块一组网通信，电动病床执行模块接收控制指令后，驱动执行机构，执行相应的功能；
所述家电设备用于接收网关转发的控制指令发送至家电设备和上传家电设备信息至网关，Zigbee模块三与网关的Zigbee模块一组网通信，家电执行模块接收控制指令后，驱动执行机构，执行相应的功能。
优选的，所述平板电脑支架包括伸缩管，所述多角度调节机构包括调节组件和夹持组件，其中：
所述调节组件由关节二、关节三、关节四、关节五通过杆体依次首尾连接，且关节二、关节三、关节四、关节五均活动套设在杆体上，所述关节二、关节五的转动方向与关节三、关节四的旋转方向相互垂直，所述关节二、关节三、关节四、关节五上分别设置有关节旋钮二、关节按键一、关节按键二、关节按键三，所述关节五的底端活动安装在伸缩管的顶端；所述关节二与夹持组件旋转连接；
所述夹持组件包括对称设置的平板电脑固定夹，其中一块所述平板电脑固定夹的顶部设置有旋转球旋钮，在旋转球旋钮的内部活动卡止有固定旋转球，平板电脑固定夹与固定旋转球为刚性连接，所述固定旋转球的顶部安装有关节一，所述关节一的外部通过轴旋转连接有关节旋钮一，而关节一的端部嵌入至关节二的内部，并与关节旋钮二旋转连接，另一块所述平板电脑固定夹的内侧面固定有调节杆，且两者之间固定有固定螺丝，该调节杆的端部活动插入至其中一块平板电脑固定夹的内部，其中一块平板电脑固定夹的顶部设置有用于将调节杆抵紧的调节杆开关；
所述伸缩管为多段式结构，在关节二的外表面套设有伸缩管旋转锁，其中伸缩管旋转锁处于每两段伸缩管之间，所述关节二的底部还安装有固定夹，所述固定夹的顶部设置有固定夹旋转锁，该固定夹旋转锁活动套设在伸缩管上。
优选的，所述头环包括眼电信号传感器模块、头部姿态传感器模块、低功耗蓝牙处理器模块；
其中，眼电信号传感器模块包含电极单元、滤波单元、放大单元、AD转换单元；
所述电极单元含有3个导电电极，分别为信号电极、参考电极和接地电极，信号电极贴前额FP2位置，参考电极贴AF8位置，接地电极贴AF7位置；
所述眼电信号滤波放大单元用于滤除射频干扰信号、50HZ共模信号；
所述放大单元则将眼电信号进行放大；
所述AD转换单元将放大后的眼电信号进行数模转换，将模拟的眼电信号转换为数字信号；
所述的头部姿态传感器模块内置9轴陀螺仪及运动处理器，9轴陀螺仪由三轴加速度计、三轴磁力计及三轴陀螺仪组成，所述运动处理器对9轴数据进行姿态解算并输出头部姿态信号；
所述低功耗蓝牙处理器模块包含MCU处理单元和蓝牙通信单元组成，MCU处理单元连接眼电信号传感器模块和头部姿态传感器模块，负责上述两个模块的程序驱动并获取眼电信号数据和头部姿态数据，蓝牙通信单元连接平板电脑蓝牙，负责与平板电脑进行蓝牙通信，将MCU打包后的眼电信号和头部姿态信号多模态数据上传给平板电脑上位机。
优选的，所述平板电脑包含蓝牙模块、头部姿态与虚拟鼠标位置转换模块、眼电大数据识别模块、集成控制界面、指令生成模块及WIFI模块；
所述蓝牙模块用于与所述头环建立通信连接，所述头部姿态与虚拟鼠标位置转换模块用于将头部姿态解算结果转换为虚拟鼠标在平板电脑屏幕位置坐标，进而控制虚拟鼠标在所述的集成控制界面上按用户的意图上下左右移动完成功能键的选择，所述眼电大数据识别模块对眼电信号的预处理、特征提取以及特征识别，并根据识别的眼电信号结果来完成用户对选择的功能键点击，所述集成控制界面为用户的控制界面，所述集成控制界面包括电动病床控制界面，电视控制界面、空调控制界面、电灯控制界面、窗帘控制界面，床帘控制界面，所述指令生成模块用于生成控制指令，控制指令与所述集成控制界面中各控制界面虚拟功能按键对应。
本发明还公开了一种电动病床和家电的多模态智能控制方法，包括控制装置，具体包括以下步骤：
步骤S1：用户佩戴好头环平躺在电动病床上，调整头环位置，使头环上的3个电极处于电极单元中的位置，然后将固定夹固定在电动病床的背板边沿上，并调整平板电脑支架的高度与角度，安装平板电脑至平板电脑固定夹中，使平板电脑屏幕正对用户眼睛，然后启动系统，打开集成控制界面；
步骤S2：头环实时采集用户的头部姿态信号和眼电信号，并对头部姿态信号与眼电信号进行处理并打包，将处理后得到的打包数字信号发送给平板电脑；
步骤S3：平板电脑获取网关设备信息数据，根据电动病床和家电设备的类型和型号将电动病床控制界面或家电控制界面加载到集成控制界面中，平板电脑对打包的数字信号进行解析，分离头部姿态信号和眼电信号，对头部姿态信号进行计算分析，从而控制虚拟鼠标的移动方向和移动距离，实现用户对目标虚拟功能按键的位置选择，对眼电信号进行预处理，特征提取，大数据识别，得到用户选择虚拟功能按键后的眨眼结果，平板电脑将眨眼结果转换为虚拟鼠标的左键单击动作，生成电动病床或家电设备的控制命令，最后向网关发送该控制命令。
优选的，所述集成控制界面的自适应生成电动病床和家电的控制界面过程如下：
S1、获取设备信息：网关添加电动病床和家电设备，并将设备信息保存；
S2、上报设备信息：网关将保存的电动病床和家电设备设备信息上报平板电脑，平板电脑解析设备信息，得到电动病床和家电设备的设备类型、设备型号和设备数量数据；
S3、生成控制界面：平板电脑根据设备类型设置主界面窗口。
优选的，所述虚拟鼠标的位置移动，包括以下步骤：
S1、虚拟鼠标位置初始化：用户平躺在电动病床上，调整好头部姿态，眼睛正对平板电脑屏幕的中心区域，同时让虚拟鼠标移至屏幕中心点，完成初始位置的标定，同时记录此时用户头部姿态数据，具体为用户头部此时的三个方向角度，分别记为X0，Y0，Z0；
S2、头部姿态数据计算：用户头部运动时，则会产生新的头部姿态数据，将新的头部姿态数据中的三个方向转动角度记为Xt，Yt，Zt，用户相对于初始位置时三个方向转动的相对角度则为X=Xt-X0，Y=Yt-Y0，Z=Zt-Z0；
S3、虚拟鼠标移动：根据S2中的X、Y、Z计算所述虚拟鼠标移动距离。
优选的，所述移动距离计算公式为：SX=aX ,SY=bY,a和b为移动距离系数，由所述平板电脑根据此时的屏幕分辨率和控制窗口的大小确定，SX和SY为移动距离，用户向左转头时，SX为正值时，虚拟鼠标向左平移SX距离,用户向右转头时，SX为负值时，虚拟鼠标向右平移SX距离, 用户向上抬头时，SY为正值时，虚拟鼠标向上平移SY距离，用户向下低头时，SY为负值时，虚拟鼠标向下平移SY距离。
优选的，所述眼电信号的大数据识别，包括以下步骤：
S1、数据采集与预处理：采集大量的各类人群的眨眼数据，其中包含正常眨眼，非眨眼状态的平稳眼动数据作为大数据模型的训练集，然后对采集到的原始信号进行初步筛选，筛出因误操作的各类原因而导致不可用的样本，对于正常可用的样本，则进行滤波去噪、降采样预处理操作，以减少噪声对后续分析的影响；
S2、建立大数据模型：利用采集到的眨眼波形数据集，构建基于机器学习算法的模型，接着，将先前所采集到的眨眼波形大数据用来训练大模型，并在训练中通过合理设置超参数或分步分阶段训练的方式，使得大数据模型被充分训练，实现跨人群的样本分析与判别；
S3、眨眼波形识别与自监督训练：当需要进行眨眼波形识别时，将待识别的眼动信号经过适当的数据预处理后，输入已训练好的大数据模型，模型对输入信号进行分类并输出识别结果，判断输入信号是眨眼还是非眨眼状态，而识别结果可根据实际应用需求进行处理和输出。
与现有技术相比，本发明的有益效果是：
在本发明中，利用头环采集头动、眼电多模态信号，通过处理分析，实现肢体瘫痪病人自主护理，减轻医护和家属的护理负担，并提高了电动病床及家电的控制准确率。
附图说明
图1为本发明的结构示意图；
图2为本发明三维角度可调节平板电脑支架组成结构示意图；
图3为本发明的工作流程示意图。
图中：
1、平板电脑支架；100、平板电脑固定夹；101、关节旋钮一；102、关节一；103、固定旋转球；104、旋转球旋钮；105、关节旋钮二；106、关节二；107、调节杆开关；108、调节杆；109、固定螺丝；110、关节三；111、关节按键一；112、关节四；113、关节按键二；114、关节按键三；115、关节五；116、伸缩管；117、伸缩管旋转锁；118、固定夹旋转锁；119、固定夹；
2、头环；201、头部姿态信号；202、眼电信号；203、蓝牙模块一；
3、平板电脑；
4、网关；
5、电动病床；
6、家电设备。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1至图3，本发明提供一种技术方案：一种电动病床和家电的多模态智能控制装置，包括
平板电脑支架1，用于固定平板电脑3，平板电脑支架1上设置有对平板电脑的三维位置调节的多角度调节机构，在使用中，可以通过多角度调节机构让平板电脑3的屏幕正对用户眼睛，使用户有较舒适的交互视角；
头环2，用于实时采集用户头部姿态信号和眼电信号，并对头部姿态信号进行姿态解算，对眼电信号滤波、放大及AD转换，并将数据上传至平板电脑3内；
平板电脑3，用于自适应生成集成控制界面，将头部姿态信号转换为虚拟鼠标移动的方向和在该方向移动的位置，控制虚拟鼠标在集成控制界面上的移动，构建大数据模型识别眼电信号得出是否眨眼结果，根据眨眼结果点击目标虚拟按键，然后向网关发出对应控制指令；
网关4，用于接收平板电脑3的控制指令，并转发该控制指令到电动病床5或家电设备6中，并接收电动病床5和/或家电设备6的设备信息，存储在网关4中并转发该设备信息至平板电脑3内；
还包括电动病床5和家电设备6，其中电动病床5和家电设备6为用户控制对象，电动病床5用于接收网关4转发的控制指令发送至电动病床5和上传电动病床设备信息至网关4，Zigbee模块二与网关4的Zigbee模块一组网通信，电动病床执行模块接收控制指令后，驱动执行机构，执行相应的功能；
家电设备6用于接收网关4转发的控制指令发送至家电设备6和上传家电设备信息至网关4，Zigbee模块三与网关4的Zigbee模块一组网通信，家电执行模块接收控制指令后，驱动执行机构，执行相应的功能。
本实施例中，平板电脑支架1包括伸缩管116，多角度调节机构包括调节组件和夹持组件，其中：
调节组件由关节二106、关节三110、关节四112、关节五115通过杆体依次首尾连接，且关节二106、关节三110、关节四112、关节五115均活动套设在杆体上，从而实现位置的调节，关节二106、关节五115的转动方向与关节三110、关节四112的旋转方向相互垂直，从而实现平面与竖直面方向的调节，关节二106、关节三110、关节四112、关节五115上分别设置有可以将自身旋转角度进行固定的关节旋钮二105、关节按键一111、关节按键二113、关节按键三114，由于该种限位原理为现有技术，故在此不作进一步赘述，关节五115的底端活动安装在伸缩管116的顶端；关节二106与夹持组件旋转连接；
夹持组件包括对称设置的平板电脑固定夹100，其中一块平板电脑固定夹100的顶部设置有旋转球旋钮104，在旋转球旋钮104的内部活动卡止有固定旋转球103，平板电脑固定夹100与固定旋转球103为刚性连接，固定旋转球103的顶部安装有关节一102，关节一102的外部通过轴旋转连接有关节旋钮一101，而关节一102的端部嵌入至关节二106的内部，并与关节旋钮二105旋转连接，再使用中，通过关节一102与关节二106连接，并且能够实现平面方向的转动，而平板电脑固定夹100能够通过固定旋转球103与旋转球旋钮104的转动实现任意角度的调节，另一块平板电脑固定夹100的内侧面固定有调节杆108，且两者之间固定有固定螺丝109，该调节杆108的端部活动插入至其中一块平板电脑固定夹100的内部，其中一块平板电脑固定夹100的顶部设置有用于将调节杆108抵紧的调节杆开关107；
伸缩管116为多段式结构，在关节二106的外表面套设有伸缩管旋转锁117，其中伸缩管旋转锁117处于每两段伸缩管116之间，用于对伸缩管116的长度做出调节，关节二106的底部还安装有固定夹119，固定夹119的顶部设置有固定夹旋转锁118，该固定夹旋转锁118活动套设在伸缩管116上；固定夹119卡在电动病床5背板边沿上，通过拧紧或者拧松的方式实现对固定夹119的固定和松开，拧松伸缩管旋转锁117，伸缩管116至合适高度后拧紧伸缩管旋转锁117，依次按下关节按键一111、关节按键二113和关节按键三114，调节关节三110、关节四112和关节五115角度，调节关节旋钮和关节旋钮，调节关节二106和关节一102角度，使平板电脑固定夹100处于用户头部合适高度正前方，打开调节杆开关107，拉动调节杆108与平板电脑3宽度一致，将平板电脑3放置平板电脑固定夹100内，拧紧固定螺丝109，卡紧平板电脑3，旋转平板电脑3角度使其屏幕正对用户眼睛，拧紧旋转球旋钮104，固定固定旋转球103，此时平板电脑3屏幕为用户最佳视觉角度，电动病床5背板运动时，平板电脑支架1跟随背板同步运动，用户眼睛正对平板电脑支架1，始终处于最佳操作视角。
本实施例中，头环2包括眼电信号传感器模块、头部姿态传感器模块、低功耗蓝牙处理器模块；
其中，眼电信号传感器模块包含电极单元、滤波单元、放大单元、AD转换单元；
电极单元含有3个导电电极，分别为信号电极、参考电极和接地电极，按国际脑电10-20系统分布标准，信号电极贴前额FP2位置，参考电极贴AF8位置，接地电极贴AF7位置；
眼电信号滤波放大单元用于滤除射频干扰信号、50HZ共模信号；
放大单元则将眼电信号进行放大；
AD转换单元将放大后的眼电信号进行数模转换，将模拟的眼电信号转换为数字信号；
的头部姿态传感器模块内置9轴陀螺仪及运动处理器，9轴陀螺仪由三轴加速度计、三轴磁力计及三轴陀螺仪组成，运动处理器对9轴数据进行姿态解算并输出头部姿态信号；
低功耗蓝牙处理器模块包含MCU处理单元和蓝牙通信单元组成，MCU处理单元连接眼电信号传感器模块和头部姿态传感器模块，负责上述两个模块的程序驱动并获取眼电信号数据和头部姿态数据，蓝牙通信单元连接平板电脑蓝牙，负责与平板电脑进行蓝牙通信，将MCU打包后的眼电信号和头部姿态信号多模态数据上传给平板电脑上位机。
本实施例中，平板电脑3包含蓝牙模块、头部姿态与虚拟鼠标位置转换模块、眼电大数据识别模块、集成控制界面、指令生成模块及WIFI模块；
蓝牙模块用于与头环建立通信连接，头部姿态与虚拟鼠标位置转换模块用于将头部姿态解算结果转换为虚拟鼠标在平板电脑屏幕位置坐标，进而控制虚拟鼠标在的集成控制界面上按用户的意图上下左右移动完成功能键的选择，眼电大数据识别模块对眼电信号的预处理、特征提取以及特征识别，并根据识别的眼电信号结果来完成用户对选择的功能键点击，集成控制界面为用户的控制界面，集成控制界面包括电动病床控制界面，电视控制界面、空调控制界面、电灯控制界面、窗帘控制界面，床帘控制界面，电动病床控制界面的虚拟功能按键包括背板上升、背板下降、腿板上升、腿板下降、背腿同升、背腿同降、床体上升、床体下降、床头倾斜、床尾倾斜，电视控制界面的虚拟功能按键包括确定、上、下、左、右、音量+、音量-、频道+、频道-、主页、返回、静音，空调控制界面的虚拟功能按键包括温度+、温度-、风速+、风速-、制热、制冷、换气、除湿，电灯控制界面包括灯1、灯2、灯3、灯4、灯5、灯6，窗帘控制界面虚拟功能按键包括打开和关闭，床帘控制界面虚拟功能按键包括打开和关闭，指令生成模块用于生成控制指令，控制指令与集成控制界面中各控制界面虚拟功能按键对应。
本发明还公开了一种电动病床和家电的多模态智能控制方法，包括控制装置，具体包括以下步骤：
步骤S1：用户佩戴好头环2平躺在电动病床5上，调整头环2位置，使头环2上的3个电极处于电极单元中的位置，然后将固定夹119固定在电动病床5的背板边沿上，并调整平板电脑支架1的高度与角度，安装平板电脑3至平板电脑固定夹100中，使平板电脑3屏幕正对用户眼睛，然后启动系统，打开集成控制界面；
步骤S2：头环2实时采集用户的头部姿态信号和眼电信号，并对头部姿态信号与眼电信号进行处理并打包，将处理后得到的打包数字信号发送给平板电脑3；
步骤S3：平板电脑3获取网关4设备信息数据，根据电动病床5和家电设备6的类型和型号将电动病床控制界面或家电控制界面加载到集成控制界面中，平板电脑3对打包的数字信号进行解析，分离头部姿态信号和眼电信号，对头部姿态信号进行计算分析，从而控制虚拟鼠标的移动方向和移动距离，实现用户对目标虚拟功能按键的位置选择，对眼电信号进行预处理，特征提取，大数据识别，得到用户选择虚拟功能按键后的眨眼结果，平板电脑3将眨眼结果转换为虚拟鼠标的左键单击动作，生成电动病床5或家电设备6的控制命令，最后向网关4发送该控制命令。
本实施例中，集成控制界面的自适应生成电动病床和家电的控制界面过程如下：
S1、获取设备信息：网关4添加电动病床5和家电设备6，并将设备信息保存；
S2、上报设备信息：网关4将保存的电动病床5和家电设备6设备信息上报平板电脑3，平板电脑3解析设备信息，得到电动病床5和家电设备6的设备类型、设备型号和设备数量数据；
S3、生成控制界面：平板电脑3根据设备类型设置主界面窗口，如此时病房内网关4与电动病床5和家电设备6的家电执行模块，具体包括空调、电视、电灯组网，则平板电脑3的集成控制界面只生成电动病床控制界面、空调控制界面、电视控制界面、电灯控制界面，不生成其它没有与网关组网的电动病床和家电设备的控制界面，后续添加与网关4组网设备，平板电脑自适应增加该设备的控制子界面到集成控制界面中。
本实施例中，虚拟鼠标的位置移动，包括以下步骤：
S1、虚拟鼠标位置初始化：用户平躺在电动病床5上，调整好头部姿态，眼睛正对平板电脑3屏幕的中心区域，同时让虚拟鼠标移至屏幕中心点，完成初始位置的标定，同时记录此时用户头部姿态数据，具体为用户头部此时的三个方向角度，分别记为X0，Y0，Z0；
S2、头部姿态数据计算：用户头部运动时，则会产生新的头部姿态数据，将新的头部姿态数据中的三个方向转动角度记为Xt，Yt，Zt，用户相对于初始位置时三个方向转动的相对角度则为X=Xt-X0，Y=Yt-Y0，Z=Zt-Z0；
S3、虚拟鼠标移动：根据S2中的X、Y、Z计算所述虚拟鼠标移动距离。
本实施例中，移动距离计算公式为：SX=aX ,SY=bY,a和b为移动距离系数，由所述平板电脑根据此时的屏幕分辨率和控制窗口的大小确定，SX和SY为移动距离，用户向左转头时，SX为正值时，虚拟鼠标向左平移SX距离,用户向右转头时，SX为负值时，虚拟鼠标向右平移SX距离, 用户向上抬头时，SY为正值时，虚拟鼠标向上平移SY距离，用户向下低头时，SY为负值时，虚拟鼠标向下平移SY距离。
本实施例中，眼电信号的大数据识别，包括以下步骤：
S1、数据采集与预处理：采集大量的各类人群的眨眼数据，其中包含正常眨眼，非眨眼状态的平稳眼动数据作为大数据模型的训练集，然后对采集到的原始信号进行初步筛选，筛出因误操作的各类原因而导致不可用的样本，对于正常可用的样本，则进行滤波去噪、降采样预处理操作，以减少噪声对后续分析的影响；
S2、建立大数据模型：利用采集到的眨眼波形数据集，构建基于机器学习算法的模型，如支持向量机、神经网络的大数据模型；该模型需要具备能从序列中提取特定信息的能力，从而使得它能充分地在非眨眼的扰动波形中提取眨眼数据，并通过对训练样本的学习来获取眨眼波形的特征模式，接着，将先前所采集到的眨眼波形大数据用来训练大模型，并在训练中通过合理设置超参数或分步分阶段训练的方式，使得大数据模型被充分训练，实现跨人群的样本分析与判别；
S3、眨眼波形识别与自监督训练：当需要进行眨眼波形识别时，将待识别的眼动信号经过适当的数据预处理后，输入已训练好的大数据模型，模型对输入信号进行分类并输出识别结果，判断输入信号是眨眼还是非眨眼状态，而识别结果可根据实际应用需求进行处理和输出；
基于大数据模型对更多待分类眨眼数据的判断，将自动挑选其中判断较为明确的数据段，作为对大数据模型进行进一步训练的样本；大数据模型将依据此方式获得更多人群的数据，从而不断扩大自身的适用范围。
尽管已经示出和描述了本发明的实施例（详见上述详尽的描述），对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种电动病床和家电的多模态智能控制装置，其特征在于：包括
平板电脑支架（1），用于固定平板电脑（3），所述平板电脑支架（1）上设置有对平板电脑的三维位置调节的多角度调节机构；
头环（2），用于实时采集用户头部姿态信号和眼电信号，并对头部姿态信号进行姿态解算，对眼电信号滤波、放大及AD转换，并将数据上传至平板电脑（3）内；
平板电脑（3），用于自适应生成集成控制界面，将头部姿态信号转换为虚拟鼠标移动的方向和在该方向移动的位置，控制虚拟鼠标在集成控制界面上的移动，构建大数据模型识别眼电信号得出是否眨眼结果，根据眨眼结果点击目标虚拟按键，然后向网关发出对应控制指令；
网关（4），用于接收所述平板电脑（3）的控制指令，并转发该控制指令到电动病床（5）或家电设备（6）中，并接收电动病床（5）和/或家电设备（6）的设备信息，存储在所述网关（4）中并转发该设备信息至所述平板电脑（3）内；
还包括电动病床（5）和家电设备（6），其中电动病床（5）和家电设备（6）为用户控制对象，所述电动病床（5）用于接收网关（4）转发的控制指令发送至电动病床（5）和上传电动病床设备信息至网关（4），Zigbee模块二与网关（4）的Zigbee模块一组网通信，电动病床执行模块接收控制指令后，驱动执行机构，执行相应的功能；
所述家电设备（6）用于接收网关（4）转发的控制指令发送至家电设备（6）和上传家电设备信息至网关（4），Zigbee模块三与网关（4）的Zigbee模块一组网通信，家电执行模块接收控制指令后，驱动执行机构，执行相应的功能。
2.根据权利要求1所述的一种电动病床和家电的多模态智能控制装置，其特征在于：所述平板电脑支架（1）包括伸缩管（116），所述多角度调节机构包括调节组件和夹持组件，其中：
所述调节组件由关节二（106）、关节三（110）、关节四（112）、关节五（115）通过杆体依次首尾连接，且关节二（106）、关节三（110）、关节四（112）、关节五（115）均活动套设在杆体上，所述关节二（106）、关节五（115）的转动方向与关节三（110）、关节四（112）的旋转方向相互垂直，所述关节二（106）、关节三（110）、关节四（112）、关节五（115）上分别设置有关节旋钮二（105）、关节按键一（111）、关节按键二（113）、关节按键三（114），所述关节五（115）的底端活动安装在伸缩管（116）的顶端；所述关节二（106）与夹持组件旋转连接；
所述夹持组件包括对称设置的平板电脑固定夹（100），其中一块所述平板电脑固定夹（100）的顶部设置有旋转球旋钮（104），在旋转球旋钮（104）的内部活动卡止有固定旋转球（103），平板电脑固定夹（100）与固定旋转球（103）为刚性连接，所述固定旋转球（103）的顶部安装有关节一（102），所述关节一（102）的外部通过轴旋转连接有关节旋钮一（101），而关节一（102）的端部嵌入至关节二（106）的内部，并与关节旋钮二（105）旋转连接，另一块所述平板电脑固定夹（100）的内侧面固定有调节杆（108），且两者之间固定有固定螺丝（109），该调节杆（108）的端部活动插入至其中一块平板电脑固定夹（100）的内部，其中一块平板电脑固定夹（100）的顶部设置有用于将调节杆（108）抵紧的调节杆开关（107）；
所述伸缩管（116）为多段式结构，在关节二（106）的外表面套设有伸缩管旋转锁（117），其中伸缩管旋转锁（117）处于每两段伸缩管（116）之间，所述关节二（106）的底部还安装有固定夹（119），所述固定夹（119）的顶部设置有固定夹旋转锁（118），该固定夹旋转锁（118）活动套设在伸缩管（116）上。
3.根据权利要求1所述的一种电动病床和家电的多模态智能控制装置，其特征在于：所述头环（2）包括眼电信号传感器模块、头部姿态传感器模块、低功耗蓝牙处理器模块；
其中，眼电信号传感器模块包含电极单元、滤波单元、放大单元、AD转换单元；
所述电极单元含有3个导电电极，分别为信号电极、参考电极和接地电极，信号电极贴前额FP2位置，参考电极贴AF8位置，接地电极贴AF7位置；
所述眼电信号滤波放大单元用于滤除射频干扰信号、50HZ共模信号；
所述放大单元则将眼电信号进行放大；
所述AD转换单元将放大后的眼电信号进行数模转换，将模拟的眼电信号转换为数字信号；
所述的头部姿态传感器模块内置9轴陀螺仪及运动处理器，9轴陀螺仪由三轴加速度计、三轴磁力计及三轴陀螺仪组成，所述运动处理器对9轴数据进行姿态解算并输出头部姿态信号；
所述低功耗蓝牙处理器模块包含MCU处理单元和蓝牙通信单元组成，MCU处理单元连接眼电信号传感器模块和头部姿态传感器模块，负责上述两个模块的程序驱动并获取眼电信号数据和头部姿态数据，蓝牙通信单元连接平板电脑蓝牙，负责与平板电脑进行蓝牙通信，将MCU打包后的眼电信号和头部姿态信号多模态数据上传给平板电脑上位机。
4.根据权利要求1所述的一种电动病床和家电的多模态智能控制装置，其特征在于：所述平板电脑（3）包含蓝牙模块、头部姿态与虚拟鼠标位置转换模块、眼电大数据识别模块、集成控制界面、指令生成模块及WIFI模块；
所述蓝牙模块用于与所述头环建立通信连接，所述头部姿态与虚拟鼠标位置转换模块用于将头部姿态解算结果转换为虚拟鼠标在平板电脑屏幕位置坐标，进而控制虚拟鼠标在所述的集成控制界面上按用户的意图上下左右移动完成功能键的选择，所述眼电大数据识别模块对眼电信号的预处理、特征提取以及特征识别，并根据识别的眼电信号结果来完成用户对选择的功能键点击，所述集成控制界面为用户的控制界面，所述集成控制界面包括电动病床控制界面，电视控制界面、空调控制界面、电灯控制界面、窗帘控制界面，床帘控制界面，所述指令生成模块用于生成控制指令，控制指令与所述集成控制界面中各控制界面虚拟功能按键对应。
5.一种电动病床和家电的多模态智能控制方法，包括权利要求1至4中任一项中所述的控制装置，其特征在于：具体包括以下步骤：
步骤S1：用户佩戴好头环（2）平躺在电动病床（5）上，调整头环（2）位置，使头环（2）上的3个电极处于电极单元中的位置，然后将固定夹（119）固定在电动病床（5）的背板边沿上，并调整平板电脑支架（1）的高度与角度，安装平板电脑（3）至平板电脑固定夹（100）中，使平板电脑（3）屏幕正对用户眼睛，然后启动系统，打开集成控制界面；
步骤S2：头环（2）实时采集用户的头部姿态信号和眼电信号，并对头部姿态信号与眼电信号进行处理并打包，将处理后得到的打包数字信号发送给平板电脑（3）；
步骤S3：平板电脑（3）获取网关（4）设备信息数据，根据电动病床（5）和家电设备（6）的类型和型号将电动病床控制界面或家电控制界面加载到集成控制界面中，平板电脑（3）对打包的数字信号进行解析，分离头部姿态信号和眼电信号，对头部姿态信号进行计算分析，从而控制虚拟鼠标的移动方向和移动距离，实现用户对目标虚拟功能按键的位置选择，对眼电信号进行预处理，特征提取，大数据识别，得到用户选择虚拟功能按键后的眨眼结果，平板电脑（3）将眨眼结果转换为虚拟鼠标的左键单击动作，生成电动病床（5）或家电设备（6）的控制命令，最后向网关（4）发送该控制命令。
6.根据权利要求5所述的一种电动病床和家电的多模态智能控制方法，其特征在于：所述集成控制界面的自适应生成电动病床和家电的控制界面过程如下：
S1、获取设备信息：网关（4）添加电动病床（5）和家电设备（6），并将设备信息保存；
S2、上报设备信息：网关（4）将保存的电动病床（5）和家电设备（6）设备信息上报平板电脑（3），平板电脑（3）解析设备信息，得到电动病床（5）和家电设备（6）的设备类型、设备型号和设备数量数据；
S3、生成控制界面：平板电脑（3）根据设备类型设置主界面窗口。
7.根据权利要求5所述的一种电动病床和家电的多模态智能控制方法，其特征在于：所述虚拟鼠标的位置移动，包括以下步骤：
S1、虚拟鼠标位置初始化：用户平躺在电动病床（5）上，调整好头部姿态，眼睛正对平板电脑（3）屏幕的中心区域，同时让虚拟鼠标移至屏幕中心点，完成初始位置的标定，同时记录此时用户头部姿态数据，具体为用户头部此时的三个方向角度，分别记为X0，Y0，Z0；
S2、头部姿态数据计算：用户头部运动时，则会产生新的头部姿态数据，将新的头部姿态数据中的三个方向转动角度记为Xt，Yt，Zt，用户相对于初始位置时三个方向转动的相对角度则为X=Xt-X0，Y=Yt-Y0，Z=Zt-Z0；
S3、虚拟鼠标移动：根据S2中的X、Y、Z计算所述虚拟鼠标移动距离。
8.根据权利要求7所述的一种电动病床和家电的多模态智能控制方法，其特征在于：所述移动距离计算公式为：SX=aX ,SY=bY,a和b为移动距离系数，由所述平板电脑根据此时的屏幕分辨率和控制窗口的大小确定，SX和SY为移动距离，用户向左转头时，SX为正值时，虚拟鼠标向左平移SX距离,用户向右转头时，SX为负值时，虚拟鼠标向右平移SX距离, 用户向上抬头时，SY为正值时，虚拟鼠标向上平移SY距离，用户向下低头时，SY为负值时，虚拟鼠标向下平移SY距离。
9.根据权利要求5所述的一种电动病床和家电的多模态智能控制方法，其特征在于：所述眼电信号的大数据识别，包括以下步骤：
S1、数据采集与预处理：采集大量的各类人群的眨眼数据，其中包含正常眨眼，非眨眼状态的平稳眼动数据作为大数据模型的训练集，然后对采集到的原始信号进行初步筛选，筛出因误操作的各类原因而导致不可用的样本，对于正常可用的样本，则进行滤波去噪、降采样预处理操作，以减少噪声对后续分析的影响；
S2、建立大数据模型：利用采集到的眨眼波形数据集，构建基于机器学习算法的模型，接着，将先前所采集到的眨眼波形大数据用来训练大模型，并在训练中通过合理设置超参数或分步分阶段训练的方式，使得大数据模型被充分训练，实现跨人群的样本分析与判别；
S3、眨眼波形识别与自监督训练：当需要进行眨眼波形识别时，将待识别的眼动信号经过适当的数据预处理后，输入已训练好的大数据模型，模型对输入信号进行分类并输出识别结果，判断输入信号是眨眼还是非眨眼状态，而识别结果可根据实际应用需求进行处理和输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311651273.8A CN117357351B (zh) | 2023-12-05 | 2023-12-05 | 一种电动病床和家电的多模态智能控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311651273.8A CN117357351B (zh) | 2023-12-05 | 2023-12-05 | 一种电动病床和家电的多模态智能控制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117357351A true CN117357351A (zh) | 2024-01-09 |
| CN117357351B CN117357351B (zh) | 2024-06-18 |
Family
ID=89396888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311651273.8A Active CN117357351B (zh) | 2023-12-05 | 2023-12-05 | 一种电动病床和家电的多模态智能控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117357351B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101308400A (zh) * | 2007-05-18 | 2008-11-19 | 肖斌 | 基于眼动和头动检测的新型人机交互装置 |
| KR20100117192A (ko) * | 2009-04-24 | 2010-11-03 | 김운기 | 환자의 움직임 감지에 의해 동작하는 환자용 침대 |
| CN101995944A (zh) * | 2009-08-24 | 2011-03-30 | 仇锐铿 | 眼电控制系统以及利用眼电控制系统控制游标的方法 |
| CN102968072A (zh) * | 2012-11-09 | 2013-03-13 | 上海大学 | 基于校正/训练的眼电控制系统和方法 |
| CN203322675U (zh) * | 2013-07-17 | 2013-12-04 | 李威 | 一种平板电脑架 |
| CN104755023A (zh) * | 2012-11-02 | 2015-07-01 | 索尼公司 | 图像显示设备和信息输入设备 |
| US20160350589A1 (en) * | 2015-05-27 | 2016-12-01 | Hsien-Hsiang Chiu | Gesture Interface Robot |
| CN109199726A (zh) * | 2018-08-31 | 2019-01-15 | 上海大学 | 一种起背高度可脑控调节的新型病床控制系统 |
| CN110037696A (zh) * | 2019-04-24 | 2019-07-23 | 广州贝方医疗设备有限公司 | 基于眼电开关的脑电生物反馈系统 |
| BR102018071412A2 (pt) * | 2018-10-17 | 2020-04-28 | Limesoft Equipamentos Eletronicos Ltda | dispositivo e método para captar, processar e classificar movimentos oculares, movimentos com a cabeça e atividade cerebral. |
| CN111290572A (zh) * | 2019-05-21 | 2020-06-16 | 华南脑控(广东)智能科技有限公司 | 一种基于eog信号和头部姿态的驱动装置及驱动方法 |
| CN211207290U (zh) * | 2019-12-26 | 2020-08-07 | 北京信息科技大学 | 一种基于眼电的智能手持终端控制系统 |
| CN112764532A (zh) * | 2020-12-31 | 2021-05-07 | 北京信息科技大学 | 基于脑电眼电结合的键鼠控制系统及控制方法 |
| CN115120436A (zh) * | 2022-06-27 | 2022-09-30 | 广东技术师范大学 | 一种眼睛控制的智慧医疗床及其控制方法 |
| CN115890655A (zh) * | 2022-10-11 | 2023-04-04 | 人工智能与数字经济广东省实验室(广州) | 基于头部姿态和眼电的机械臂控制方法、装置及介质 |
| CN116849942A (zh) * | 2023-07-28 | 2023-10-10 | 中国医学科学院生物医学工程研究所 | 一种脑控智能升降翻身的多功能医疗护理床 |
-
2023
- 2023-12-05 CN CN202311651273.8A patent/CN117357351B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101308400A (zh) * | 2007-05-18 | 2008-11-19 | 肖斌 | 基于眼动和头动检测的新型人机交互装置 |
| KR20100117192A (ko) * | 2009-04-24 | 2010-11-03 | 김운기 | 환자의 움직임 감지에 의해 동작하는 환자용 침대 |
| CN101995944A (zh) * | 2009-08-24 | 2011-03-30 | 仇锐铿 | 眼电控制系统以及利用眼电控制系统控制游标的方法 |
| CN104755023A (zh) * | 2012-11-02 | 2015-07-01 | 索尼公司 | 图像显示设备和信息输入设备 |
| CN102968072A (zh) * | 2012-11-09 | 2013-03-13 | 上海大学 | 基于校正/训练的眼电控制系统和方法 |
| CN203322675U (zh) * | 2013-07-17 | 2013-12-04 | 李威 | 一种平板电脑架 |
| US20160350589A1 (en) * | 2015-05-27 | 2016-12-01 | Hsien-Hsiang Chiu | Gesture Interface Robot |
| CN109199726A (zh) * | 2018-08-31 | 2019-01-15 | 上海大学 | 一种起背高度可脑控调节的新型病床控制系统 |
| BR102018071412A2 (pt) * | 2018-10-17 | 2020-04-28 | Limesoft Equipamentos Eletronicos Ltda | dispositivo e método para captar, processar e classificar movimentos oculares, movimentos com a cabeça e atividade cerebral. |
| CN110037696A (zh) * | 2019-04-24 | 2019-07-23 | 广州贝方医疗设备有限公司 | 基于眼电开关的脑电生物反馈系统 |
| CN111290572A (zh) * | 2019-05-21 | 2020-06-16 | 华南脑控(广东)智能科技有限公司 | 一种基于eog信号和头部姿态的驱动装置及驱动方法 |
| CN211207290U (zh) * | 2019-12-26 | 2020-08-07 | 北京信息科技大学 | 一种基于眼电的智能手持终端控制系统 |
| CN112764532A (zh) * | 2020-12-31 | 2021-05-07 | 北京信息科技大学 | 基于脑电眼电结合的键鼠控制系统及控制方法 |
| CN115120436A (zh) * | 2022-06-27 | 2022-09-30 | 广东技术师范大学 | 一种眼睛控制的智慧医疗床及其控制方法 |
| CN115890655A (zh) * | 2022-10-11 | 2023-04-04 | 人工智能与数字经济广东省实验室(广州) | 基于头部姿态和眼电的机械臂控制方法、装置及介质 |
| CN116849942A (zh) * | 2023-07-28 | 2023-10-10 | 中国医学科学院生物医学工程研究所 | 一种脑控智能升降翻身的多功能医疗护理床 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117357351B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7382415B2 (ja) | 上肢機能評価装置と方法及び上肢リハビリトレーニングシステムと方法 | |
| WO2018113392A1 (zh) | 一种基于脑机接口的机械臂自主辅助系统及方法 | |
| US20190282133A1 (en) | Systems and methods for comprehensive human movement analysis | |
| CN212112406U (zh) | 一种基于用户eog信号和头部姿态的驱动装置 | |
| CN106214391B (zh) | 基于脑机接口的智能护理床及其控制方法 | |
| CN103295028B (zh) | 手势操作控制方法、装置及智能显示终端 | |
| CN110934697A (zh) | 一种基于云平台的多功能智能轮椅的控制方法及设备 | |
| CN107608524B (zh) | 一种基于肌电的多目标控制指令生成装置 | |
| CN108524121A (zh) | 基于眼球控制屏幕的智能轮椅 | |
| CN109172066A (zh) | 基于语音控制与视觉识别的智能假肢手及其系统和方法 | |
| CN112114662A (zh) | 一种现实增强的自适应动态多场景诱发脑控方法 | |
| CN111726921B (zh) | 一种体感交互灯光控制系统 | |
| CN109284004A (zh) | 一种基于脑机接口的智能护理系统 | |
| CN206162388U (zh) | 一种脑机交互穿戴系统 | |
| CN106371451A (zh) | 基于稳态视觉诱发电位的无人机操控方法及装置 | |
| CN204537060U (zh) | 一种基于肌电流和多传感器协同作用的人机交互设备 | |
| CN106569606A (zh) | 一种基于自然手势识别的智能家居红外控制系统与方法 | |
| CN112223288A (zh) | 一种视觉融合的服务机器人控制方法 | |
| CN114938556B (zh) | 台灯光线自动调节方法、装置、电子设备及存储介质 | |
| CN106214163B (zh) | 一种下肢畸形矫正术后康复的人工心理辅导装置 | |
| CN111571587A (zh) | 一种脑控机械臂助餐系统及方法 | |
| CN108509040A (zh) | 基于多维信号处理和自适应学习的混合脑机接口系统 | |
| CN117357351B (zh) | 一种电动病床和家电的多模态智能控制方法及装置 | |
| CN115050104A (zh) | 基于多通道表面肌电信号的连续手势动作识别方法 | |
| CN112451306B (zh) | 基于vr的手臂肌肉康复训练系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |