CN110575332A - 基于近红外主动立体视觉和脑电波技术的护理床及方法 - Google Patents
基于近红外主动立体视觉和脑电波技术的护理床及方法 Download PDFInfo
- Publication number
- CN110575332A CN110575332A CN201910808098.6A CN201910808098A CN110575332A CN 110575332 A CN110575332 A CN 110575332A CN 201910808098 A CN201910808098 A CN 201910808098A CN 110575332 A CN110575332 A CN 110575332A
- Authority
- CN
- China
- Prior art keywords
- brain wave
- infrared
- module
- mechanical arm
- nursing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 143
- 230000000474 nursing effect Effects 0.000 title claims abstract description 103
- 238000005516 engineering process Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000036544 posture Effects 0.000 claims abstract description 14
- 230000033001 locomotion Effects 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000010183 spectrum analysis Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 6
- 210000001061 forehead Anatomy 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000010363 phase shift Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 241000190070 Sarracenia purpurea Species 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010247 heart contraction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G7/00—Beds specially adapted for nursing; Devices for lifting patients or disabled persons
- A61G7/002—Beds specially adapted for nursing; Devices for lifting patients or disabled persons having adjustable mattress frame
- A61G7/015—Beds specially adapted for nursing; Devices for lifting patients or disabled persons having adjustable mattress frame divided into different adjustable sections, e.g. for Gatch position
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G7/00—Beds specially adapted for nursing; Devices for lifting patients or disabled persons
- A61G7/05—Parts, details or accessories of beds
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Nursing (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供基于近红外主动立体视觉和脑电波技术的护理床及方法，该护理床包括近红外主动立体视觉模块、脑电波控制模块和自主护理模块；所述自主护理模块的主控系统分别与近红外主动立体视觉模块、脑电波控制模块、床板、桌板和机械臂连接，所述主控系统根据被护理鼻子和嘴巴、机械臂末端以及待抓取物品的空间位置和姿态，以及脑电波信号来控制床板、桌板和机械臂的运动；自主护理模块的主控系统根据被护理人近红外人脸视频图像进行心率检测。本发明为失能病患提供一个更为自由、便利、有尊严的照料，并解决医患双方的共同需求，解放医院的人力资源，提高医院护理的工作效率。
Description
技术领域
本发明属于医疗器械技术领域，具体涉及基于近红外主动立体视觉和脑电波技术的智能护理床。
背景技术
正如当前制造业正迫不及待地寻求智能化方式，在我国面临的医疗资源供给不足、分布严重不均衡的背景下，智能医疗也正在逐渐覆盖全产业链各应用场景。医疗领域的智能护理设备被视为“拯救”失能人士的希望。随着市场需求变得迫切，智能护理床势必将成为医疗护理领域全面市场化的急先锋。
同时，随着社会逐步进入老龄化，医疗、护理和康复的需求在增加。由于国内医疗系统医患比例严重失衡，病房中很多移动困难，没有自主能力的病人都需要医护人员进行护理工作：如病人起身、睡下、喂水、喂药等，这样既造成了医护人员的供不应求，也难以完全照顾到每个病人的基本需求，再者现有技术中并没有自主护理和心率检测相结合的护理床。
相对于国内传统的普通机械式护理床，欧美、日本等发达国家的护理床市场相对成熟，在传统护理床方面已经实现了完全电动化，但仍需医护人员人工操作且操作复杂。
发明内容
针对上述技术问题，本发明提供一种基于近红外主动立体视觉和脑电波技术的护理床及方法，至少解决上述问题之一。为失能病患提供一个更为自由、便利、有尊严的照料，并解决医患双方的共同需求，解放医院的人力资源，提高医院护理的工作效率。本发明着眼于人工智能领域，以近红外主动视觉、脑电波、机械臂技术相结合，从主动自主护理的角度拓宽目前护理床产业的技术范围，并且通过近红外立体视觉模块，在夜间关灯睡觉的情况下，也能检测被护理人心率，以防止失能病人突发不测。
本发明解决其技术问题所采用的技术方案是：一种基于近红外主动立体视觉和脑电波技术的护理床，包括近红外主动立体视觉模块、脑电波控制模块和自主护理模块；
所述自主护理模块包括主控系统、床架、床板、桌板和机械臂；所述床板能够调节靠背的角度，所述床架的两侧分别设有滑轨，所述机械臂安装在床架一侧的滑轨上，机械臂能够在滑轨上滑动；所述桌板的两端分别安装在滑轨上，且能够在滑轨上滑动；
所述近红外主动立体视觉模块安装在床板的上端，所述近红外主动立体视觉模块用于计算出物体与近红外主动立体视觉模块的近红外相机之间的距离，并三维重构被护理人鼻子和嘴巴、机械臂末端以及待抓取物品的空间位置和姿态；所述近红外主动立体视觉模块还用于采集被护理人近红外人脸视频图像；近红外主动立体视觉模块将采集到的信号传送到自主护理模块的主控系统；
所述脑电波控制模块用于采集被护理人的脑电波信号，对脑电波信号进行校核以及解析，并传递给自主护理模块的主控系统；
所述自主护理模块的主控系统分别与近红外主动立体视觉模块、脑电波控制模块、床板、桌板和机械臂连接，所述主控系统根据被护理鼻子和嘴巴、机械臂末端以及待抓取物品的空间位置和姿态，以及脑电波信号来控制床板、桌板和机械臂的运动；自主护理模块的主控系统根据被护理人近红外人脸视频图像进行心率检测。
上述方案中，所述近红外主动立体视觉模块包括数据采集单元、距离测量和三维重构单元和心率检测单元；
所述数据采集单元包括近红外调制投射仪和近红外相机，近红外调制投射仪射出红外线，被远处物体反射，由近红外相机接收，近红外相机还用于获取被护理人近红外人脸视频图像；
所述距离测量和三维重构单元用于根据近红外相机所接收的近红外反射信号计算信号的相位偏移，获得空间距离，重构物体表面三维形貌；
所述心率检测单元用于采集近红外人脸视频图像，并根据近红外人脸视频图像中的心率信号进行频谱分析，得到心率。
上述方案中，所述脑电波控制模块包括数据采集单元、信号校核单元、脑电波信号解析单元和蓝牙传送单元；
所述数据采集单元用于采集脑电波；
所述信号校核单元用于对采集的脑电波信号进行检查校核；
所述脑电波信号解析单元用于对校核正确的脑电波信号进行解析，得到脑电波数据；
所述蓝牙传送单元用于将脑电波数据传送到主控系统。
上述方案中，所述主控系统包括数据接收模块、分析模块、护理床控制模块、机械臂控制模块和报警模块；
所述数据接收模块用于接收近红外主动立体视觉模块和脑电波控制模块发送的信号；
所述分析模块用于根据脑电波控制模块发送的脑电波信号进行分析评估被护理人的意愿，决定是否激活自主护理模块，若决定激活自主护理模块，则根据近红外主动立体视觉模块发送的鼻尖指向信号决定是启动护理床控制模块还是启动机械臂控制模块；
所述护理床控制模块用于根据三维鼻尖指向与脑电波信号调节床板靠背的角度，以及桌板的位置；
所述机械臂控制模块根据三维鼻尖指向控制机械臂抓取位于这一方向桌板上的指定物品，通过近红外立体视觉模块不断传送机械臂末端与嘴巴之间的相对位置关系来规划动作路径，将物品送入被护理人的嘴巴；
所述报警模块用于将检测到的心率与预设值对比，当检测到的心率比预设值大时进行报警。
一种根据所述基于近红外主动立体视觉和脑电波技术的护理床的控制方法，包括以下步骤：
距离测量和三维重构：所述近红外主动立体视觉模块计算出物体与近红外主动立体视觉模块的近红外相机之间的距离，并三维重构被护理人鼻子和嘴巴、机械臂末端以及待抓取物品的空间位置和姿态；
脑电波信号处理：所述脑电波控制模块采集被护理人的脑电波信号，对脑电波信号进行校核以及解析，并传递给自主护理模块的主控系统；
自主护理模块启动：所述主控系统根据脑电波控制模块检测的脑电波信号进行分析，评估被护理人的意愿，决定是否激活自主护理模块；若评估结果为激活自主护理模块，则所述控制系统接收近红外主动立体视觉模块传送的三维鼻尖指向信号，进一步分析并评估被护理人的意愿，决定是启动护理床控制模块还是启动机械臂控制模块，当被护理人的鼻尖指向机械臂所在的一侧，则激活机械臂控制模块，并通过脑电波的专注度控制机械臂动作，当被护理人的鼻尖指向另外一边，则激活护理床控制模块，并通过脑电波的专注度控制调节床板靠背的角度，以及桌板的位置；
心率检测：所述近红外主动立体视觉模块检测人脸视频图像，所述主控系统对近红外主动立体视觉模块检测的人脸视频图像中的心率信号进行频谱分析，得到心率，并与预设值进行对比；当检测到的心率比预设值大时进行报警。
上述方案中，所述脑电波信号的处理步骤具体为：
步骤S1、数据采集：通过数据采集单元采集被护理人的原始脑电波信号；
步骤S2、信号校核：通过信号校核单元对采集的脑电波信号进行检查校核；
步骤S3、脑电波信号解析：通过步骤S2若信号校核正确，则对原始脑电波信号进行解析，若信号校核不正确，舍弃该组信号，解析后得到的脑波数据包括低α波、高α波、低β波、高β波、低Y波、高Y波；
步骤S4、脑电波数据传输：通过蓝牙传送单元将解析后的脑波数据传输至所述主控系统3。
上述方案中，所述距离测量和三维重构的步骤具体为：
步骤K1、所述近红外调制投射仪投射出经过调制的近红外正弦信号；
步骤K2、近红外正弦信号被物体反射后由所述近红外相机接收；
步骤K3、由投射和接收的近红外正弦信号相位偏移计算出物体与所述近红外相机之间的距离并重构出物体三维形貌。
上述方案中，所述心率检测的步骤具体为：
步骤F1、所述近红外主动立体视觉模块进行近红外人脸检测与跟踪，跟踪定位近红外视频图像中人脸所在区域，并进一步提取额头部位长方形区域图像，取近红外额头图像区域所有像素的灰度均值作为该帧视频图像所处时刻的样本值，样本值为包含心脏搏动信息的时域上的离散信号；
步骤F2、盲源分离，采用fastICA算法对近红外视频图像进行分离，得到相互独立的信号成份；
步骤F3、采用周期图法对信号成份中的心率信号进行频谱分析，并找出第一尖峰对应的频率即为心率的频率，便完成对心率信号的周期分析，得到心率。
上述方案中，所述机械臂控制模块控制机械臂动作具体包括以下步骤：
近红外主动立体视觉模块将重构出的三维鼻子、嘴巴在空间中的姿态以及与机械臂的相对位置关系数据发送给主控系统；
所述主控系统根据三维鼻尖指向控制机械臂所抓取位于这一方向桌板上的指定物品；
通过近红外立体视觉模块不断传送机械臂8末端与嘴巴之间的相对位置关系来规划动作路径，将物品送入被护理人的嘴巴。
上述方案中，所述护理床控制模块控制调节床板靠背的角度具体包括以下步骤：
所述近红外主动立体视觉模块将重构出的三维鼻尖指向数据发送给所述主控系统；
所述主控系统通过分析鼻尖指向与脑电波信号调节床板靠背的角度，由脑电波信号所形成的专注度与预设值对比，根据对比的结果控制调节是否继续，专注度计算公式：
专注度＝(mY+nβ+tα)×100
式中，Y、β、α分别表示Y波、β波、α波在脑电波信号能量中的百分比，m、n、t分别表示Y波、β波、α波的权重系数，根据经验值进行设定。
与现有技术相比，本发明的有益效果是：
1.本发明部分契合市面上已有的可升降普通护理床，但普通可升降护理床需要医护人员进行操作，无法及时满足病患的自身需求，无法智能控制和自主看护，只能针对病人进行辅助换姿等护理功能，并未涉及到自主喂食、喂药功能，本发明不仅弥补了其不足，还能够与其完美兼容。
2.目前通过脑电波操纵的服务机器人基于专门的脑机接口，为获得更为准确的脑电波信号，对硬件的要求过高，设备复杂且造价昂贵，而本发明只需采用小巧轻便的低成本脑电波头戴，结合鼻尖的指向，分析专注度情况即可，操作简单，利于市场普及。
3.相较于现有的护理机器人系统，本发明基于一维脑电波，二维近红外视频和三维信息等的多源模态信息，利用脑电波信号作为不同设备部件的选择和启动信号，利用近红外主动立体视觉以确保系统运行精度，利用近红外人脸视频信息实时监测心率。
4.本发明最显著的优势在于智能化和无人值守的特点，将护理床和近红外主动视觉、脑电波、机械臂技术的相结合，由失能病人根据自己的意愿就能实现相应的护理动作，并且在失能病人睡觉时实时监测心率这一生理信息，以防止失能病人突发不测，实现了完全意义上的自主护理功能。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施方式的整体结构示意图；
图2是本发明一实施方式的功能模块框图。
图中，1.近红外主动立体视觉模块；2.脑电波控制模块；3.主控系统；4.床架；5.床板；6.桌板；7.滑轨；8.机械臂。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
如图1和2所示为本发明所述基于近红外主动立体视觉和脑电波技术的护理床的较佳实施方式，所述基于近红外主动立体视觉和脑电波技术的护理床，包括近红外主动立体视觉模块1、脑电波控制模块2和自主护理模块。失能病人只需躺在智能护理床上，并佩戴脑波头戴即可根据病人意愿自主实现喂食、喂药和喂水等功能，并能实时监测失能病人的心率变化。
所述自主护理模块为护理动作的执行和控制机构，用于实现对被护理人的自主护理和心率检测，包括主控系统3、床架4、床板5、桌板6和机械臂8；所述床板5能够调节靠背的角度，所述床架4的两侧分别设有滑轨7，所述机械臂8安装在床架4一侧的滑轨7上，机械臂8能够在滑轨7上滑动；所述桌板6的两端分别安装在滑轨7上，且能够在滑轨7上滑动。
所述近红外主动立体视觉模块1安装在床板5的上端，所述近红外主动立体视觉模块1用于采集图像，计算出物体与近红外主动立体视觉模块1的近红外相机之间的距离，并三维重构被护理人鼻子和嘴巴、机械臂末端以及待抓取物品的空间位置和姿态；所述近红外主动立体视觉模块1还用于采集被护理人近红外人脸视频图像；近红外主动立体视觉模块1将采集到的信号传送到自主护理模块的主控系统3；
所述脑电波控制模块2用于采集被护理人的脑电波信号，对脑电波信号进行校核以及解析，并传递给自主护理模块的主控系统3；
所述自主护理模块的主控系统3分别与近红外主动立体视觉模块1、脑电波控制模块2、床板5、桌板6和机械臂8连接，所述主控系统3根据被护理鼻子和嘴巴、机械臂末端以及待抓取物品的空间位置和姿态，以及脑电波信号来控制床板5、桌板6和机械臂8的运动；自主护理模块的主控系统3根据被护理人近红外人脸视频图像进行心率检测。
根据本实施例优选的，所述近红外主动立体视觉模块1包括数据采集单元、距离测量和三维重构单元和心率检测单元；所述近红外主动立体视觉模块1可以利用波长为830纳米的近红外调制正弦波的相位偏移实现距离测量与三维重构，利用近红外相机拍摄人脸近红外视频实现心率检测，不受外界环境光的影响，准确率更高，晚上关灯也不影响检测。
所述数据采集单元包括近红外调制投射仪和近红外相机，近红外调制投射仪射出红外线，被远处物体反射，由近红外相机接收，近红外相机还用于获取被护理人近红外人脸视频图像；
所述距离测量和三维重构单元用于根据近红外相机所接收的近红外反射信号计算信号的相位偏移，获得空间距离，重构物体表面三维形貌；
所述心率检测单元用于采集近红外人脸视频图像，并根据近红外人脸视频图像中的心率信号进行频谱分析，得到心率。
根据本实施例优选的，所述脑电波控制模块2包括数据采集单元、信号校核单元、脑电波信号解析单元和蓝牙传送单元；
所述数据采集单元用于采集脑电波；
所述信号校核单元用于对采集的脑电波信号进行检查校核；
所述脑电波信号解析单元用于对校核正确的脑电波信号进行解析，得到脑电波数据；
所述蓝牙传送单元用于将脑电波数据传送到主控系统3。
根据本实施例优选的，所述脑电波控制模块2为蓝牙头戴设备Think Gear。
根据本实施例优选的，所述主控系统3包括数据接收模块、分析模块、护理床控制模块、机械臂控制模块和报警模块；
所述数据接收模块用于接收近红外主动立体视觉模块1和脑电波控制模块2发送的信号；
所述分析模块用于根据脑电波控制模块2发送的脑电波信号进行分析评估被护理人的意愿，决定是否激活自主护理模块，若决定激活自主护理模块，则根据近红外主动立体视觉模块1发送的鼻尖指向信号决定是启动护理床控制模块还是启动机械臂控制模块；
所述护理床控制模块用于根据三维鼻尖指向与脑电波信号调节床板5靠背的角度，以及桌板6的位置；
所述机械臂控制模块根据三维鼻尖指向控制机械臂8抓取位于这一方向桌板6上的指定物品，通过近红外立体视觉模块1不断传送机械臂8末端与嘴巴之间的相对位置关系来规划动作路径，将物品送入被护理人的嘴巴；
所述报警模块用于将检测到的心率与预设值对比，当检测到的心率比预设值大时进行报警。
根据本实施例优选的，所述主控系统3为ARM芯片，用于获取由脑电波控制模块2和红外主动立体视觉模块1所传送的信息并加以处理分析，还用于控制自主护理模块各部件的动作，包括床板5的升降控制、桌板6移动控制、六自由度机械臂8移动及抓取控制和相应的路径规划，以及心率的检测和警报。
一种根据所述基于近红外主动立体视觉和脑电波技术的护理床的控制方法，包括以下步骤：
距离测量和三维重构：所述近红外主动立体视觉模块1计算出物体与近红外主动立体视觉模块1的近红外相机之间的距离，并三维重构被护理人鼻子和嘴巴、机械臂末端以及待抓取物品的空间位置和姿态；
脑电波信号处理：所述脑电波控制模块2采集被护理人的脑电波信号，对脑电波信号进行校核以及解析，并传递给自主护理模块的主控系统3；
自主护理模块启动：所述主控系统3根据脑电波控制模块2检测的脑电波信号进行分析，评估被护理人的意愿，决定是否激活自主护理模块；若评估结果为激活自主护理模块，则所述控制系统3接收近红外主动立体视觉模块1传送的三维鼻尖指向信号，进一步分析并评估被护理人的意愿，决定是启动护理床控制模块还是启动机械臂控制模块，当被护理人的鼻尖指向机械臂8所在的一侧，则激活机械臂控制模块，并通过脑电波的专注度控制机械臂8动作，当被护理人的鼻尖指向另外一边，则激活护理床控制模块，并通过脑电波的专注度控制调节床板5靠背的角度，以及桌板6的位置；
心率检测：所述近红外主动立体视觉模块1检测人脸视频图像，所述主控系统3对近红外主动立体视觉模块1检测的人脸视频图像中的心率信号进行频谱分析，得到心率，并与预设值进行对比；当检测到的心率比预设值大时进行报警。
根据本实施例优选的，所述脑电波信号的处理步骤具体为：
步骤S1、数据采集：通过数据采集单元采集被护理人的原始脑电波信号；
步骤S2、信号校核：通过信号校核单元对采集的脑电波信号进行检查校核；
步骤S3、脑电波信号解析：通过步骤S2若信号校核正确，则对原始脑电波信号进行解析，若信号校核不正确，舍弃该组信号，解析后得到的脑波数据包括低α波(波长为8-10Hz)、高α波(波长为11-13Hz)、低β波(波长为14-22Hz)、高β波(波长为22-30Hz)、低Y波(波长为31-45Hz)、高Y波(波长为46Hz以上)；
步骤S4、脑电波数据传输：通过蓝牙传送单元将解析后的脑波数据传输至所述主控系统3。
根据本实施例优选的，所述距离测量和三维重构的步骤具体为：
步骤K1、所述近红外调制投射仪投射出经过调制的近红外正弦信号；
步骤K2、近红外正弦信号被物体反射后由所述近红外相机接收；
步骤K3、由投射和接收的近红外正弦信号相位偏移计算出物体与所述近红外相机之间的距离并重构出物体三维形貌。
根据本实施例优选的，所述心率检测的步骤具体为：
步骤F1、所述近红外主动立体视觉模块1进行近红外人脸检测与跟踪，采用haar特征跟踪定位近红外视频图像中人脸所在区域，并进一步提取额头部位长方形区域图像，取近红外额头图像区域所有像素的灰度均值作为该帧视频图像所处时刻的样本值，样本值为包含心脏搏动信息的时域上的离散信号；
步骤F2、盲源分离，采用fastICA算法对近红外视频图像进行分离，得到相互独立的信号成份，其中fastICA算法可参见中国科学技术大学陈茂启的博士论文：基于盲源分离技术的高密度表面肌电分解[D]，2018；
步骤F3、采用周期图法对信号成份中的心率信号进行频谱分析，并找出第一尖峰对应的频率即为心率的频率，便完成对心率信号的周期分析，得到心率。
根据本实施例优选的，所述机械臂控制模块控制机械臂8动作具体包括以下步骤：
近红外主动立体视觉模块1将重构出的三维鼻子、嘴巴在空间中的姿态以及与机械臂8的相对位置关系数据发送给主控系统3；
所述主控系统3根据三维鼻尖指向控制机械臂8所抓取位于这一方向桌板上的指定物品；
通过近红外立体视觉模块1不断传送机械臂8末端与嘴巴之间的相对位置关系来规划动作路径，将物品送入被护理人的嘴巴。
根据本实施例优选的，所述护理床控制模块控制调节床板5靠背的角度具体包括以下步骤：
所述近红外主动立体视觉模块1将重构出的三维鼻尖指向数据发送给所述主控系统3；
所述主控系统3通过分析鼻尖指向与脑电波信号调节床板5靠背的角度，由脑电波信号所形成的专注度与预设值对比，根据对比的结果控制调节是否继续，专注度计算公式：
专注度＝(mY+nβ+tα)×100
式中，Y、β、α分别表示Y波、β波、α波在脑电波信号能量中的百分比，m、n、t分别表示Y波、β波、α波的权重系数，根据经验值进行设定。
其中关注度可以通过1到100之间的具体数值综合定量评价被护理人当前的思维意识状态，例如桌板6上放有水杯、饭碗、药，当被护理人鼻尖指向桌板6上的水杯时，且专注度达到80时，可以确认被护理人需要喝水，并控制机械臂8抓取水杯，送入被护理人的嘴巴。
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于近红外主动立体视觉和脑电波技术的护理床，其特征在于，包括近红外主动立体视觉模块(1)、脑电波控制模块(2)和自主护理模块；
所述自主护理模块包括主控系统(3)、床架(4)、床板(5)、桌板(6)和机械臂(8)；所述床板(5)能够调节靠背的角度，所述床架(4)的两侧分别设有滑轨(7)，所述机械臂(8)安装在床架(4)一侧的滑轨(7)上，机械臂(8)能够在滑轨(7)上滑动；所述桌板(6)的两端分别安装在滑轨(7)上，且能够在滑轨(7)上滑动；
所述近红外主动立体视觉模块(1)安装在床板(5)的上端，所述近红外主动立体视觉模块(1)用于计算出物体与近红外主动立体视觉模块(1)的近红外相机之间的距离，并三维重构被护理人鼻子和嘴巴、机械臂末端以及待抓取物品的空间位置和姿态；所述近红外主动立体视觉模块(1)还用于采集被护理人近红外人脸视频图像；近红外主动立体视觉模块(1)将采集到的信号传送到自主护理模块的主控系统(3)；
所述脑电波控制模块(2)用于采集被护理人的脑电波信号，对脑电波信号进行校核以及解析，并传递给自主护理模块的主控系统(3)；
所述自主护理模块的主控系统(3)分别与近红外主动立体视觉模块(1)、脑电波控制模块(2)、床板(5)、桌板(6)和机械臂(8)连接，所述主控系统(3)根据被护理鼻子和嘴巴、机械臂末端以及待抓取物品的空间位置和姿态，以及脑电波信号来控制床板(5)、桌板(6)和机械臂(8)的运动；自主护理模块的主控系统(3)根据被护理人近红外人脸视频图像进行心率检测。
2.根据权利要求1所述的基于近红外主动立体视觉和脑电波技术护理床，其特征在于，所述近红外主动立体视觉模块(1)包括数据采集单元、距离测量和三维重构单元和心率检测单元；
所述数据采集单元包括近红外调制投射仪和近红外相机，近红外调制投射仪射出红外线，被远处物体反射，由近红外相机接收，近红外相机还用于获取被护理人近红外人脸视频图像；
所述距离测量和三维重构单元用于根据近红外相机所接收的近红外反射信号计算信号的相位偏移，获得空间距离，重构物体表面三维形貌；
所述心率检测单元用于采集近红外人脸视频图像，并根据近红外人脸视频图像中的心率信号进行频谱分析，得到心率。
3.根据权利要求1所述的基于近红外主动立体视觉和脑电波技术护理床，其特征在于，所述脑电波控制模块(2)包括数据采集单元、信号校核单元、脑电波信号解析单元和蓝牙传送单元；
所述数据采集单元用于采集脑电波；
所述信号校核单元用于对采集的脑电波信号进行检查校核；
所述脑电波信号解析单元用于对校核正确的脑电波信号进行解析，得到脑电波数据；
所述蓝牙传送单元用于将脑电波数据传送到主控系统(3)。
4.根据权利要求1所述的基于近红外主动立体视觉和脑电波技术护理床，其特征在于，所述主控系统(3)包括数据接收模块、分析模块、护理床控制模块、机械臂控制模块和报警模块；
所述数据接收模块用于接收近红外主动立体视觉模块(1)和脑电波控制模块(2)发送的信号；
所述分析模块用于根据脑电波控制模块(2)发送的脑电波信号进行分析评估被护理人的意愿，决定是否激活自主护理模块，若决定激活自主护理模块，则根据近红外主动立体视觉模块(1)发送的鼻尖指向信号决定是启动护理床控制模块还是启动机械臂控制模块；
所述护理床控制模块用于根据三维鼻尖指向与脑电波信号调节床板(5)靠背的角度，以及桌板(6)的位置；
所述机械臂控制模块根据三维鼻尖指向控制机械臂(8)抓取位于这一方向桌板(6)上的指定物品，通过近红外立体视觉模块(1)不断传送机械臂(8)末端与嘴巴之间的相对位置关系来规划动作路径，将物品送入被护理人的嘴巴；
所述报警模块用于将检测到的心率与预设值对比，当检测到的心率比预设值大时进行报警。
5.一种根据权利要求1-4任意一项所述基于近红外主动立体视觉和脑电波技术的护理床的控制方法，其特征在于，包括以下步骤：
距离测量和三维重构：所述近红外主动立体视觉模块(1)计算出物体与近红外主动立体视觉模块(1)的近红外相机之间的距离，并三维重构被护理人鼻子和嘴巴、机械臂末端以及待抓取物品的空间位置和姿态；
脑电波信号处理：所述脑电波控制模块(2)采集被护理人的脑电波信号，对脑电波信号进行校核以及解析，并传递给自主护理模块的主控系统(3)；
自主护理模块启动：所述主控系统(3)根据脑电波控制模块(2)检测的脑电波信号进行分析，评估被护理人的意愿，决定是否激活自主护理模块；若评估结果为激活自主护理模块，则所述控制系统(3)接收近红外主动立体视觉模块(1)传送的三维鼻尖指向信号，进一步分析并评估被护理人的意愿，决定是启动护理床控制模块还是启动机械臂控制模块，当被护理人的鼻尖指向机械臂(8)所在的一侧，则激活机械臂控制模块，并通过脑电波的专注度控制机械臂(8)动作，当被护理人的鼻尖指向另外一边，则激活护理床控制模块，并通过脑电波的专注度控制调节床板(5)靠背的角度，以及桌板(6)的位置；
心率检测：所述近红外主动立体视觉模块(1)检测人脸视频图像，所述主控系统(3)对近红外主动立体视觉模块(1)检测的人脸视频图像中的心率信号进行频谱分析，得到心率，并与预设值进行对比；当检测到的心率比预设值大时进行报警。
6.根据权利要求5所述的基于近红外主动立体视觉和脑电波技术护理床的控制方法，其特征在于，所述脑电波信号的处理步骤具体为：
步骤S1、数据采集：通过数据采集单元采集被护理人的原始脑电波信号；
步骤S2、信号校核：通过信号校核单元对采集的脑电波信号进行检查校核；
步骤S3、脑电波信号解析：通过步骤S2若信号校核正确，则对原始脑电波信号进行解析，若信号校核不正确，舍弃该组信号，解析后得到的脑波数据包括低α波、高α波、低β波、高β波、低Y波、高Y波；
步骤S4、脑电波数据传输：通过蓝牙传送单元将解析后的脑波数据传输至所述主控系统(3)。
7.根据权利要求5所述的基于近红外主动立体视觉和脑电波技术护理床的控制方法，其特征在于，所述距离测量和三维重构的步骤具体为：
步骤K1、所述近红外调制投射仪投射出经过调制的近红外正弦信号；
步骤K2、近红外正弦信号被物体反射后由所述近红外相机接收；
步骤K3、由投射和接收的近红外正弦信号相位偏移计算出物体与所述近红外相机之间的距离并重构出物体三维形貌。
8.根据权利要求5所述的基于近红外主动立体视觉和脑电波技术护理床的控制方法，其特征在于，所述心率检测的步骤具体为：
步骤F1、所述近红外主动立体视觉模块(1)进行近红外人脸检测与跟踪，跟踪定位近红外视频图像中人脸所在区域，并进一步提取额头部位长方形区域图像，取近红外额头图像区域所有像素的灰度均值作为该帧视频图像所处时刻的样本值，样本值为包含心脏搏动信息的时域上的离散信号；
步骤F2、盲源分离，采用fastICA算法对近红外视频图像进行分离，得到相互独立的信号成份；
步骤F3、采用周期图法对信号成份中的心率信号进行频谱分析，并找出第一尖峰对应的频率即为心率的频率，便完成对心率信号的周期分析，得到心率。
9.根据权利要求5所述的基于近红外主动立体视觉和脑电波技术护理床的控制方法，其特征在于，所述机械臂控制模块控制机械臂(8)动作具体包括以下步骤：
近红外主动立体视觉模块(1)将重构出的三维鼻子、嘴巴在空间中的姿态以及与机械臂(8)的相对位置关系数据发送给主控系统(3)；
所述主控系统(3)根据三维鼻尖指向控制机械臂(8)所抓取位于这一方向桌板上的指定物品；
通过近红外立体视觉模块(1)不断传送机械臂(8)末端与嘴巴之间的相对位置关系来规划动作路径，将物品送入被护理人的嘴巴。
10.根据权利要求5所述的基于近红外主动立体视觉和脑电波技术护理床的控制方法，其特征在于，所述护理床控制模块控制调节床板(5)靠背的角度具体包括以下步骤：
所述近红外主动立体视觉模块(1)将重构出的三维鼻尖指向数据发送给所述主控系统(3)；
所述主控系统(3)通过分析鼻尖指向与脑电波信号调节床板(5)靠背的角度，由脑电波信号所形成的专注度与预设值对比，根据对比的结果控制调节是否继续，专注度计算公式：
专注度＝(mY+nβ+tα)×100
式中，Y、β、α分别表示Y波、β波、α波在脑电波信号能量中的百分比，m、n、t分别表示Y波、β波、α波的权重系数，根据经验值进行设定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910808098.6A CN110575332A (zh) | 2019-08-29 | 2019-08-29 | 基于近红外主动立体视觉和脑电波技术的护理床及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910808098.6A CN110575332A (zh) | 2019-08-29 | 2019-08-29 | 基于近红外主动立体视觉和脑电波技术的护理床及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110575332A true CN110575332A (zh) | 2019-12-17 |
Family
ID=68812364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910808098.6A Pending CN110575332A (zh) | 2019-08-29 | 2019-08-29 | 基于近红外主动立体视觉和脑电波技术的护理床及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110575332A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429345A (zh) * | 2020-03-03 | 2020-07-17 | 贵阳像树岭科技有限公司 | 一种超低功耗视觉计算心率及心率变异性方法 |
| CN113500611A (zh) * | 2021-07-22 | 2021-10-15 | 常州大学 | 一种基于脑电和视觉导引的喂饭机器人系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1927551A (zh) * | 2006-09-30 | 2007-03-14 | 电子科技大学 | 一种视导脑声控的残障辅助机器人 |
| US20110105909A1 (en) * | 2009-10-30 | 2011-05-05 | National Yang-Ming University | Near-infrared light brain computer interface vision driven control device and its method |
| CN104138254A (zh) * | 2013-05-10 | 2014-11-12 | 天津点康科技有限公司 | 非接触式自动心率测量系统及测量方法 |
| CN106671084A (zh) * | 2016-12-20 | 2017-05-17 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助系统及方法 |
| CN106725457A (zh) * | 2016-12-31 | 2017-05-31 | 东莞市讯易机电科技有限公司 | 一种基于脑机人工智能技术的住院病人监测系统 |
| CN107518906A (zh) * | 2017-09-05 | 2017-12-29 | 天津市悠游科技有限公司 | 一种基于脑电波进行心理辅助诊断系统及诊疗方法 |
| CN107576280A (zh) * | 2017-09-05 | 2018-01-12 | 河北工业大学 | 基于并行四颜色通道的条纹投影三维形貌测量方法及装置 |
| CN108030551A (zh) * | 2017-12-06 | 2018-05-15 | 上海波城医疗科技有限公司 | 手术机械臂行程校正系统及方法 |
| CN109059806A (zh) * | 2018-07-26 | 2018-12-21 | 河北工业大学 | 一种基于红外条纹的镜面物体三维面形测量装置及方法 |
| CN109431452A (zh) * | 2018-10-25 | 2019-03-08 | 武汉目明乐视健康科技有限公司 | 无人眼健康筛查仪 |
| CN109864806A (zh) * | 2018-12-19 | 2019-06-11 | 江苏集萃智能制造技术研究所有限公司 | 基于双目视觉的动态补偿功能的穿刺机器人导航系统 |
| CN109938842A (zh) * | 2019-04-18 | 2019-06-28 | 王小丽 | 面部外科手术定位导航方法及装置 |
| CN109998810A (zh) * | 2019-03-04 | 2019-07-12 | 陕西职业技术学院 | 一种头部控制护理床 |
| CN211023626U (zh) * | 2019-08-29 | 2020-07-17 | 江苏大学 | 一种护理床 |
-
2019
- 2019-08-29 CN CN201910808098.6A patent/CN110575332A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1927551A (zh) * | 2006-09-30 | 2007-03-14 | 电子科技大学 | 一种视导脑声控的残障辅助机器人 |
| US20110105909A1 (en) * | 2009-10-30 | 2011-05-05 | National Yang-Ming University | Near-infrared light brain computer interface vision driven control device and its method |
| CN104138254A (zh) * | 2013-05-10 | 2014-11-12 | 天津点康科技有限公司 | 非接触式自动心率测量系统及测量方法 |
| CN106671084A (zh) * | 2016-12-20 | 2017-05-17 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助系统及方法 |
| CN106725457A (zh) * | 2016-12-31 | 2017-05-31 | 东莞市讯易机电科技有限公司 | 一种基于脑机人工智能技术的住院病人监测系统 |
| CN107576280A (zh) * | 2017-09-05 | 2018-01-12 | 河北工业大学 | 基于并行四颜色通道的条纹投影三维形貌测量方法及装置 |
| CN107518906A (zh) * | 2017-09-05 | 2017-12-29 | 天津市悠游科技有限公司 | 一种基于脑电波进行心理辅助诊断系统及诊疗方法 |
| CN108030551A (zh) * | 2017-12-06 | 2018-05-15 | 上海波城医疗科技有限公司 | 手术机械臂行程校正系统及方法 |
| CN109059806A (zh) * | 2018-07-26 | 2018-12-21 | 河北工业大学 | 一种基于红外条纹的镜面物体三维面形测量装置及方法 |
| CN109431452A (zh) * | 2018-10-25 | 2019-03-08 | 武汉目明乐视健康科技有限公司 | 无人眼健康筛查仪 |
| CN109864806A (zh) * | 2018-12-19 | 2019-06-11 | 江苏集萃智能制造技术研究所有限公司 | 基于双目视觉的动态补偿功能的穿刺机器人导航系统 |
| CN109998810A (zh) * | 2019-03-04 | 2019-07-12 | 陕西职业技术学院 | 一种头部控制护理床 |
| CN109938842A (zh) * | 2019-04-18 | 2019-06-28 | 王小丽 | 面部外科手术定位导航方法及装置 |
| CN211023626U (zh) * | 2019-08-29 | 2020-07-17 | 江苏大学 | 一种护理床 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429345A (zh) * | 2020-03-03 | 2020-07-17 | 贵阳像树岭科技有限公司 | 一种超低功耗视觉计算心率及心率变异性方法 |
| CN113500611A (zh) * | 2021-07-22 | 2021-10-15 | 常州大学 | 一种基于脑电和视觉导引的喂饭机器人系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11684287B2 (en) | System and methods for video-based monitoring of vital signs | |
| JP6449271B2 (ja) | 対象の酸素化の状態をスクリーニングするシステム | |
| EP2715695B1 (en) | Apparatus and method for the detection of the body position while sleeping | |
| Foubert et al. | Lying and sitting posture recognition and transition detection using a pressure sensor array | |
| WO2015066445A1 (en) | System for measuring and monitoring blood pressure | |
| CN110840666B (zh) | 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法 | |
| Jones et al. | Identifying movement onset times for a bed-based pressure sensor array | |
| CA2928312A1 (en) | Motion monitor | |
| CN110575332A (zh) | 基于近红外主动立体视觉和脑电波技术的护理床及方法 | |
| CN113171087A (zh) | 一种脑血氧无创监测装置 | |
| Wang et al. | ECG-grained cardiac monitoring using uwb signals | |
| CN107949313A (zh) | 用于监测对象的生命体征的系统、方法和处理器 | |
| CN211023626U (zh) | 一种护理床 | |
| TWI685327B (zh) | 生理訊號偵測系統 | |
| CN109171656A (zh) | 一种不宁腿综合症的早期检测方法 | |
| CN109984893A (zh) | 医疗检测数据共享与处理智能管理机器人系统 | |
| CN111554376B (zh) | 基于大数据通道的瘫痪病人患者用多功能复合康复系统 | |
| CN112245128B (zh) | 脑电信号控制的助老助残机器人及人员监护系统 | |
| CN209574664U (zh) | 一种脑部功能区域定位系统和可移动设备 | |
| CN108209859B (zh) | 一种机电一体化医疗图像显示装置 | |
| US20240081735A1 (en) | System for measuring and monitoring blood pressure | |
| CN216566240U (zh) | 非接触式生理信号监测装置 | |
| CN109394181A (zh) | 一种脑部功能区域定位系统、方法以及可移动设备 | |
| Chang et al. | Pervasive computing and ambient physiological monitoring devices | |
| CN211094132U (zh) | 基于眼动追踪-脑功能活动的多模态沉浸式同步采集系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |