CN110673721B - 基于视觉与意念信号协同控制的机器人看护系统 - Google Patents

基于视觉与意念信号协同控制的机器人看护系统 Download PDF

Info

Publication number
CN110673721B
CN110673721B CN201910808055.8A CN201910808055A CN110673721B CN 110673721 B CN110673721 B CN 110673721B CN 201910808055 A CN201910808055 A CN 201910808055A CN 110673721 B CN110673721 B CN 110673721B
Authority
CN
China
Prior art keywords
mouth
mouse
face
processing module
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910808055.8A
Other languages
English (en)
Other versions
CN110673721A (zh
Inventor
张思睿
邹荣
袁彪
黄芳叶
何守健
许桢英
王匀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201910808055.8A priority Critical patent/CN110673721B/zh
Publication of CN110673721A publication Critical patent/CN110673721A/zh
Application granted granted Critical
Publication of CN110673721B publication Critical patent/CN110673721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/009—Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Nursing (AREA)
  • Neurosurgery (AREA)
  • Geometry (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于视觉与意念信号协同控制的机器人看护系统，包括：图像处理模块、人脸鼠标控制模块、意念信号处理模块和机械臂控制模块。图像处理模块通过识别人脸与脸部的的关键点实现嘴鼻三维坐标定位；人脸鼠标控制模块通过检测鼻尖的移动控制屏幕上的鼠标选择所需物品；意念信号处理模块实时采集护理对象的脑波信号，提取专注度并判断专注状态；机械臂控制模块实现物品抓取并送至病人嘴巴。本发明能够根据被看护人员的自主意识和需求，实现自主完成食用物品的取送与喂食，能够一定程度上减轻看护人员的工作强度，解放看护人员，解决看护人员紧张的问题。

Description

基于视觉与意念信号协同控制的机器人看护系统
技术领域
本发明属于医疗器械技术领域，具体涉及智能看护技术，尤其是一种基于视觉与意念信号协同控制的机器人看护系统。
背景技术
正如工业、制造业正迫不及待地寻求自动化方式，机器人也已被视为“拯救”失能人士的希望。近年来，人工智能在深度学习算法的突破下迎来了新一轮产品应用热潮。在我国面临的医疗资源供给不足、分布严重不均衡的背景下，人工智能在医疗健康各细分领域纷纷落地，覆盖全产业链各应用场景。随着市场需求正变得迫切，护理机器人势必将成为服务机器人全面市场化的急先锋。
同时随着国家的发展，社会逐步进入老龄化，医疗、护理和康复的需求增加，由于国内医疗系统医患比例严重失衡。病房中很多移动困难，没有自主能力的病人都需要专门的护工人员进行看护工作：喂水喂药等；这样既造成了护工人员上的供不应求，也难以完全照顾到每个病人的基本需求。
中国专利公开号为CN108500987A的专利申请公开了一种病患药品护理机器人。该发明利用移动机器人，将药品片剂以及供水存放在机器人内部，并在检测到人体时，自动配药。该发明的优点在于帮助老年人配药，虽然对于视力下降、行动不便的老年人有帮助，但其本身也不能够识别不同的病人，不能自主给药，并且不能够携带液体药剂，在医院这样病人较多环境实施效果并不理想。
中国专利公开号为CN105234944A的专利申请公开了一种护理机器人与运动控制系统。该专利公开一种护理机器人与运动控制系统采用全向移动底盘，通过双目视觉模块来实现自主避障。但此项发明由于没有多自由度的机械臂，仅仅适用于老年人娱乐，对于在医院这样的场景，帮助病人喂水、喂药显得较为困难。
公开号为CN107463874A的中国专利申请公开了一种情绪识别方法及系统、及应用该方法的智能看护系统，其中，该情绪识别方法包括步骤：获取同一时刻或同一时间段内的被测人脸图像和脑电信号；对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值；根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息。由此该发明实现了通过从人脸图像处理和人体脑电波处理两方面入手，并利用信息融合技术将人脸和人体脑电波结合处理，实现对人体的情绪识别，提高情绪识别的准确率和可靠性，并降低识别难度和避免个体差异性对情绪识别的影响。基于情绪识别的结果，使看护人采取更好地措施对被看护人进行照顾，并实现在被看护人发生紧急状态时使看护人能够及时应对和救助。
基于上述现有技术，目前的智能看护系统尚不能实现看护设备的自主看护，必须需要专门的看护人员来执行看护工作，不能有效的解放看护人员，解决看护人员紧张的局面。
发明内容
针对现有技术存在的问题，本发明提供了一种基于视觉与意念信号协同控制的机器人看护系统，通过提取人脑意念信号并结合机器学习，以达到弱监督学习效果的智能护理功能；解决了医患双方的共同需求，解放医院的人力资源，提高医院护理的工作效率。
基于视觉与意念信号协同控制的机器人看护系统，其特征在于，包括：头戴式脑电波采集装置、Kinect相机、显示器、机械手臂、意念信号处理模块、图像处理模块、人脸鼠标控制模块和机械臂控制模块；
所述意念信号处理模块，用于实时采集看护对象的脑波信号及眨眼肌电信号，提取脑波信号中专注度值，并判断看护人员是否处于专注状态；
所述图像处理模块，用于实时采集处理RGB图像与深度图像，提取人脸关键点，识别嘴部张合状态，确定嘴部二维坐标和嘴部关键点深度；
所述人脸鼠标控制模块，对象基于鼻尖移动来控制液晶显示屏上的鼠标指针，实现所需物品的选择，并利用意念信号处理模块检测的眨眼肌电信号判定是否眨眼来物品选定；
所述机械臂控制模块，基于意念信号处理模块判定的看护人员的专注状态激活机械手臂动作并根据人脸鼠标控制模块的所选定的物品实施抓取动作，根据所述图像处理模块处理得到的嘴部二维坐标和嘴部关键点深度所确定的三维坐标将物品送至看护对象嘴巴。
进一步地，所述意念信号处理模块对脑波信号采集和处理的具体步骤为：
步骤S1、通过非侵入式的蓝牙头戴脑波采集设备采集看护对象的脑波信号；
步骤S2、信号校核：对采集的脑波信号进行检查校核；若信号校核不正确，舍弃该信号；若信号校核正确，则进行步骤S3的解析；
步骤S3、数据解析：对原始数据rawdata进行解析，获取专注度；
步骤S4、专注度提取：将专注度信号提取出来；
步骤S5、阈值判断：若解析提取到的专注度A>60，则判断对象处于专注状态；
步骤S6、启动系统：若判断对象已处于专注状态，则将启动信号传至机械臂和人脸鼠标系统。
进一步地，所述图像处理模块图像采集及处理具体包括以下步骤：
步骤K1、采用Kinect相机采集看护对象脸部的RGB图像和深度图像；
步骤K2、人脸识别与关键点检测：采用基于深度学习的方法，包括求解人脸区域、人脸辨识、人脸N点关键点；
步骤K3、嘴部张合状态检测：采用多尺度轮廓特征来分析嘴巴状态的算法，求解嘴巴开度；
步骤K4、图像坐标变换：将RGB图像中识别嘴唇的坐标通过比例变换到深度图像中；
步骤K5、提取嘴部关键点深度：利用Kinect相机的深度测距提取深度值，并于RGB图像中获取的二维坐标构成三维空间坐标；
步骤K6、卡尔曼滤波：利用卡尔曼滤波器进行滤波处理；
步骤K7、将滤波后的三维空间坐标数据传至机械臂。
进一步地，所述人脸鼠标控制模块完成物品选定具体包括以下步骤：
步骤N1、Kinect相机摄像头采集看护对象脸部的图像：利用液晶显示屏自带USB摄像头采集面部图像；
步骤N2、人脸识别与关键点检测：采用基于深度学习的方法，包括求解人脸区域、人脸辨识、人脸N点关键点，从中提取并定位鼻尖的特征点；
步骤N3、计算鼠标坐标：以拍摄到的图像中心点为基准，求得鼻尖识别点与中心点的相对距离，然后将相对距离放大，使其映射到整个屏幕，得出鼠标的坐标；
步骤N4、灵敏度设置：通过映射系数的大小来控制虚拟鼠标的灵敏度，实现鼻尖中点与液晶显示屏坐标点的映射；
步骤N5、鼠标移动控制：控制的实现依赖于调用Windows的API函数，由步骤N3输出的鼠标的坐标，来控制鼠标的移动；
步骤N6、确定鼠标的单击情况：根据人眼闭合情况确定，脑波头戴获取眨眼肌电信号，确定鼠标单击。
进一步地，所述机械臂控制模块控制机械臂去送物品具体包括以下步骤：
步骤M1、接收由意念信号处理模块传输的启动信号；
步骤M2、接收由人脸鼠标控制模块传输的所选物品的信号；
步骤M3、执行规划动作，对指定物品进行抓取；
步骤M4、接收由深度图像处理模块传输的对象的三维空间坐标；
步骤M5、机械臂坐标系变换：将相机获取的三维空间坐标变换到机械臂坐标系上；
步骤M6、机械臂运动规划：通过运动规划避免机械臂在执行动作过程中遇到障碍物；
步骤M7、在机械臂接近嘴唇时，通过末端传感器检测，避免对目标对象造成伤害。
进一步地，所述步骤K3嘴部张合状态检测，具体包括以下步骤：
步骤K3.1、获取步骤K 2的嘴部关键点；
步骤K3.2、进行嘴部轮廓拟合；
步骤K3.3、计算轮廓最小外接矩形；
步骤K3.4、构建嘴巴开度系数N＝Length/Width：Length和Width分别为最小外接矩形的长和宽；
步骤K3.5、阈值判断：当N>0.75时嘴巴为张开状态。
进一步地，所述步骤K6卡尔曼滤波具体包括以下步骤：
步骤K6.1、获取嘴部关键点深度数据序列；
步骤K6.2、根据公式：
xk＝Fkxk-1+Bkuk+ωk
计算上一时刻深度数据的估计值，其中Fk为作用于xk-1的状态变换矩阵，Bk为作用于控制器向量uk上的输入控制矩阵，ωk为过程噪声；
步骤K6.3、根据公式：
Zk＝Hkxk+vk
计算当前时刻深度数据的测量值，其中Hk为观测模型，vk为观测噪声；
步骤K6.4、在获知上一时刻的估计值及当前时刻的观测值后，通过递归估计的方法，根据公式：
计算当前时刻的估计值，其中xk|k-1为在k时刻状态的估计，Pk|k-1为误差相关矩阵，用于度量估计值的精确程度，由此便可获得当前时刻优化后的预测结果xk，即滤波后的深度数据。
进一步地，所述非侵入式的蓝牙头戴脑波采集设备为Think Gear脑电传感器。
进一步地，还包括物品放置台。
本发明与现有技术相比的优点在于：
1.本发明利用意念信号作为启动信号，利用视觉反馈以确保系统运行精度，RGB图像与深度图像相结合，实时捕捉人脸并输出嘴部数据，相较于现有的护理机器人系统整体精确度更高。
2.本发明所使用的人脸鼠标技术，为患者提供了极大的便利，患者只需移动鼻尖控制鼠标选择自己所需的物品，体现了人性化、智能化的特点。
3.本发明能够根据被看护人员的自主意识和需求，实现自主完成食用物品的取送与喂食，能够一定程度上减轻看护人员的工作强度，解放看护人员，解决看护人员紧张的问题。
4.目前通过意念操纵的服务机器人大多基于脑机接口技术，然而为获得更为准确的“意念”，对硬件的要求过高，造价昂贵且短时间内难以普及，本发明只需要低成本的脑波头戴，训练专注度即可，操作简单，利于市场普及；
附图说明
图1是本发明所述基于视觉与意念信号协同控制的机器人看护系统的原理图；
图2是本发明所述看护系统一实施例的结构图。
图中：
1-六自由度机械臂，2-液晶显示屏，3-Kinect摄像头，4-物品放置台。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细说明，但本发明的保护范围并不限于此。
图1为本发明所述的基于视觉与意念信号协同控制的机器人看护系统原理结构图。包括：意念信号处理模块、图像处理模块、人脸鼠标控制模块和机械臂控制模块；
所述意念信号处理模块，用于实时采集看护对象的脑波信号及眨眼肌电信号，提取脑波信号中专注度值，并判断看护人员是否处于专注状态；
所述图像处理模块，用于实时采集处理RGB图像与深度图像，提取人脸关键点，识别嘴部张合状态，确定嘴部二维坐标和嘴部关键点深度；
所述人脸鼠标控制模块，对象基于鼻尖移动来控制液晶显示屏上的鼠标指针，实现所需物品的选择，并利用意念信号处理模块检测的眨眼肌电信号判定是否眨眼来物品选定；
所述机械臂控制模块，基于意念信号处理模块判定的看护人员的专注状态激活机械手臂动作并根据人脸鼠标控制模块的所选定的物品实施抓取动作，根据所述图像处理模块处理得到的嘴部二维坐标和嘴部关键点深度所确定的三维坐标将物品送至看护对象嘴巴。
图2为基于视觉与意念信号协同控制的机器人看护系统的一个实施例，该看护系统基于一个轮椅结构，在轮椅上装有六自由度机械臂1，用于抓取物品并送至看护对象嘴边；装有能够调节视角的Kinect摄像头3，用于实时正面捕捉对象嘴唇位置；装有液晶显示屏2，用于为看护对象显示可供选择的物品，看护对象通过人脸鼠标控制模块以及移动鼻尖控制液晶显示屏2上的鼠标指针，通过眨眼确定选择物品；装有物品放置台，用于放置水、饭、药物等物品；对象只需坐在轮椅座位上，并佩戴Think Gear脑电传感器即可实现自动喂水、喂饭等功能。
所述意念信号处理模块对脑波信号采集和处理的具体步骤为：
步骤S1、通过Think Gear脑电传感器采集看护对象脸部的脑波信号。
步骤S2、信号校核：对采集的脑波信号进行检查校核；若信号校核不正确，舍弃该信号；若信号校核正确，则进行步骤S3的解析。
步骤S3、数据解析：对原始数据rawdata进行解析，获取8个EEG信号，以及专注度、放松度、冥想值。
步骤S4、专注度提取：将专注度信号提取出来。
步骤S5、阈值判断：若解析提取到的专注度A>60，则可以判断对象处于专注状态。
步骤S6、启动机械臂：若判断对象已处于专注状态，则将启动信号传至机械臂。
所述图像处理模块图像采集及处理具体包括以下步骤：
步骤K1、采用Kinect相机采集看护对象脸部的RGB图像和深度图像。
步骤K2、人脸识别与关键点检测：采用基于深度学习的方法求解人脸区域、人脸辨识、人脸N点关键点。
步骤K3、嘴部张合状态检测：采用多尺度轮廓特征来分析嘴巴状态的算法，求解嘴巴开度。
所述嘴部张合状态检测具体包括以下步骤：
步骤K3.1、获取步骤K2的嘴部关键点；
步骤K3.2、进行嘴部轮廓拟合；
步骤K3.3、计算轮廓最小外接矩形；
步骤K3.4、构建嘴巴开度系数N＝Length/Width：Length和Width分别为最小外接矩形的长和宽；
步骤K3.5、阈值判断：当N>0.75时嘴巴为张开状态。
步骤K4、图像坐标变换：将RGB图像中识别嘴唇的坐标通过比例变换到深度图像中。
步骤K5、提取嘴部关键点深度：利用Kinect相机的深度测距提取深度值，并于RGB图像中获取的二维坐标构成三维空间坐标。
步骤K6、卡尔曼滤波：利用卡尔曼滤波器进行滤波处理。
卡尔曼滤波用于数据流平滑除噪，是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的滤波算法。卡尔曼滤波具体包括以下步骤：
步骤K6.1、获取嘴部关键点深度数据序列；
步骤K6.2、根据公式：
xk＝Fkxk-1+Bkuk+ωk
计算上一时刻深度数据的估计值，其中Fk为作用于xk-1的状态变换矩阵，Bk为作用于控制器向量uk上的输入控制矩阵，ωk为过程噪声；
步骤K6.3、根据公式：
Zk＝Hkxk+vk
计算当前时刻深度数据的测量值，其中Hk为观测模型，vk为观测噪声；
步骤K6.4、在获知上一时刻的估计值及当前时刻的观测值后，通过递归估计的方法，根据公式：
计算当前时刻的估计值，其中xk|k-1为在k时刻状态的估计，Pk|k-1为误差相关矩阵，用于度量估计值的精确程度，由此便可获得当前时刻优化后的预测结果xk，即滤波后的深度数据。
步骤K7、将滤波后的三维空间坐标数据传至机械臂。
所述人脸鼠标控制模块完成物品选定具体包括以下步骤：
步骤N1、Kinect相机摄像头采集看护对象脸部的图像：利用液晶显示屏自带USB摄像头采集面部图像。
步骤N2、人脸识别与关键点检测：采用基于深度学习的方法，包括求解人脸区域、人脸辨识、人脸N点关键点，从中提取并定位鼻尖的特征点；
步骤N3、计算鼠标坐标：以拍摄到的图像中心点为基准，求得鼻尖识别点与中心点的相对距离，然后将相对距离放大，使其映射到整个屏幕，得出鼠标的坐标；
步骤N4、灵敏度设置：通过映射系数的大小来控制虚拟鼠标的灵敏度，实现嘴唇中点与液晶显示屏坐标点的映射；
步骤N5、鼠标移动控制：控制的实现依赖于调用Windows的API函数，由前一步骤输出的鼠标的坐标，来控制鼠标的移动；
步骤N6、确定鼠标的单击情况：根据人眼闭合情况确定，脑波头戴获取眨眼肌电信号，确定鼠标单击；
所述机械臂控制模块具体包括以下步骤：
步骤M1、接收由意念信号处理模块传输的启动信号；
步骤M2、执行规划动作，对指定物品进行抓取；
步骤M3、接收由深度图像处理模块传输的对象的三维空间坐标；
步骤M4、机械臂坐标系变换：将相机获取的三维空间坐标变换到机械臂坐标系上；
步骤M5、机械臂运动规划：通过运动规划避免机械臂在执行动作过程中遇到障碍物；
步骤M6、在机械臂接近目标对象嘴唇时，通过末端传感器检测，避免对目标对象造成伤害。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (7)

1.基于视觉与意念信号协同控制的机器人看护系统，其特征在于，包括：头戴式脑电波采集装置、Kinect相机、显示器、机械手臂、意念信号处理模块、图像处理模块、人脸鼠标控制模块和机械臂控制模块；
所述意念信号处理模块，用于实时采集看护对象的脑波信号及眨眼肌电信号，提取脑波信号中专注度值，并判断看护人员是否处于专注状态；
所述图像处理模块，用于实时采集处理RGB图像与深度图像，提取人脸关键点，识别嘴部张合状态，确定嘴部二维坐标和嘴部关键点深度；
所述人脸鼠标控制模块，对象基于鼻尖移动来控制液晶显示屏上的鼠标指针，实现所需物品的选择，并利用意念信号处理模块检测的眨眼肌电信号判定是否眨眼来物品选定；
所述机械臂控制模块，基于意念信号处理模块判定的看护人员的专注状态激活机械手臂动作并根据人脸鼠标控制模块的所选定的物品实施抓取动作，根据所述图像处理模块处理得到的嘴部二维坐标和嘴部关键点深度所确定的三维坐标将物品送至看护对象嘴巴；
所述意念信号处理模块对脑波信号采集和处理的具体步骤为：
步骤S1、通过非侵入式的蓝牙头戴脑波采集设备采集看护对象的脑波信号；
步骤S2、信号校核：对采集的脑波信号进行检查校核；若信号校核不正确，舍弃该信号；若信号校核正确，则进行步骤S3的解析；
步骤S3、数据解析：对原始数据rawdata进行解析，解析获取专注度；
步骤S4、专注度提取：将专注度信号提取出来；
步骤S5、阈值判断：若解析提取到的专注度A>60，则判断对象处于专注状态；
步骤S6、启动系统：若判断对象已处于专注状态，则将启动信号传至机械臂和人脸鼠标系统；
所述人脸鼠标控制模块完成物品选定具体包括以下步骤：
步骤N1、Kinect相机摄像头采集看护对象脸部的图像：利用液晶显示屏自带USB摄像头采集面部图像；
步骤N2、人脸识别与关键点检测：采用基于深度学习的方法，包括求解人脸区域、人脸辨识、人脸N点关键点，从中提取并定位鼻尖的特征点；
步骤N3、计算鼠标坐标：以拍摄到的图像中心点为基准，求得鼻尖识别点与中心点的相对距离，然后将相对距离放大，使其映射到整个屏幕，得出鼠标的坐标；
步骤N4、灵敏度设置：通过映射系数的大小来控制虚拟鼠标的灵敏度，实现鼻尖中点与液晶显示屏坐标点的映射；
步骤N5、鼠标移动控制：控制的实现依赖于调用Windows的API函数，由步骤N3输出的鼠标的坐标，来控制鼠标的移动；
步骤N6、确定鼠标的单击情况：根据人眼闭合情况确定，脑波头戴获取眨眼肌电信号，确定鼠标单击。
2.根据权利要求1所述基于视觉与意念信号协同控制的机器人看护系统，其特征在于，所述图像处理模块图像采集及处理具体包括以下步骤：
步骤K1、采用Kinect相机采集看护对象脸部的RGB图像和深度图像；
步骤K2、人脸识别与关键点检测：采用基于深度学习的方法求解人脸区域、人脸辨识、人脸N点关键点；
步骤K3、嘴部张合状态检测：采用多尺度轮廓特征来分析嘴巴状态的算法，求解嘴巴开度；
步骤K4、图像坐标变换：将RGB图像中识别嘴唇的坐标通过比例变换到深度图像中；
步骤K5、提取嘴部关键点深度：利用Kinect相机的深度测距提取深度值，并于RGB图像中获取的二维坐标构成三维空间坐标；
步骤K6、卡尔曼滤波：利用卡尔曼滤波器进行滤波处理；
步骤K7、将滤波后的三维空间坐标数据传至机械臂。
3.根据权利要求2所述基于视觉与意念信号协同控制的机器人看护系统，其特征在于，所述机械臂控制模块控制机械臂去送物品具体包括以下步骤：
步骤M1、接收由意念信号处理模块传输的启动信号；
步骤M2、接收由人脸鼠标控制模块传输的所选物品的信号；
步骤M3、执行规划动作，对指定物品进行抓取；
步骤M4、接收由深度图像处理模块传输的对象的三维空间坐标；
步骤M5、机械臂坐标系变换：将相机获取的三维空间坐标变换到机械臂坐标系上；
步骤M6、机械臂运动规划：通过运动规划避免机械臂在执行动作过程中遇到障碍物；
步骤M7、在机械臂接近嘴唇时，通过末端传感器检测，避免对目标对象造成伤害。
4.根据权利要求3所述基于视觉与意念信号协同控制的机器人看护系统，其特征在于，所述步骤K3嘴部张合状态检测，具体包括以下步骤：
步骤K3.1、获取步骤K2的嘴部关键点；
步骤K3.2、进行嘴部轮廓拟合；
步骤K3.3、计算轮廓最小外接矩形；
步骤K3.4、构建嘴巴开度系数N＝Length/Width：Length和Width分别为最小外接矩形的长和宽；
步骤K3.5、阈值判断：当N>0.75时嘴巴为张开状态。
5.根据权利要求3所述基于视觉与意念信号协同控制的机器人看护系统，其特征在于，所述步骤K6卡尔曼滤波具体包括以下步骤：
步骤K6.1、获取嘴部关键点深度数据序列；
步骤K6.2、根据公式：
xk＝Fkxk-1+Bkuk+ωk
计算上一时刻深度数据的估计值，其中Fk为作用于xk-1的状态变换矩阵，Bk为作用于控制器向量uk上的输入控制矩阵，ωk为过程噪声；
步骤K6.3、根据公式：
Zk＝Hkxk+vk
计算当前时刻深度数据的测量值，其中Hk为观测模型，vk为观测噪声；
步骤K6.4、在获知上一时刻的估计值及当前时刻的观测值后，通过递归估计的方法，根据公式：
计算当前时刻的估计值，其中xk|k-1为在k时刻状态的估计，Pk|k-1为误差相关矩阵，用于度量估计值的精确程度，由此便可获得当前时刻优化后的预测结果xk，即滤波后的深度数据。
6.根据权利要求1所述基于视觉与意念信号协同控制的机器人看护系统，其特征在于，所述非侵入式的蓝牙头戴脑波采集设备为Think Gear脑电传感器。
7.根据权利要求1所述基于视觉与意念信号协同控制的机器人看护系统，其特征在于，还包括物品放置台。
CN201910808055.8A 2019-08-29 2019-08-29 基于视觉与意念信号协同控制的机器人看护系统 Active CN110673721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910808055.8A CN110673721B (zh) 2019-08-29 2019-08-29 基于视觉与意念信号协同控制的机器人看护系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910808055.8A CN110673721B (zh) 2019-08-29 2019-08-29 基于视觉与意念信号协同控制的机器人看护系统

Publications (2)

Publication Number Publication Date
CN110673721A CN110673721A (zh) 2020-01-10
CN110673721B true CN110673721B (zh) 2023-07-21

Family

ID=69075764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910808055.8A Active CN110673721B (zh) 2019-08-29 2019-08-29 基于视觉与意念信号协同控制的机器人看护系统

Country Status (1)

Country Link
CN (1) CN110673721B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529972B (zh) * 2022-02-22 2023-04-07 山西医科大学第一医院 一种肌萎缩侧索硬化患者自主呼叫处理方法及系统
CN115115711B (zh) * 2022-06-15 2023-06-23 深圳市罗湖医院集团 鼻咽拭子采样中的视觉标定方法及相关设备
CN115741670B (zh) * 2022-10-11 2024-05-03 华南理工大学 基于多模态信号和机器视觉融合控制的轮椅机械臂系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5522260A (en) * 1993-04-09 1996-06-04 Schlumberger Technology Corporation Method and apparatus for determining a depth correction for a logging tool in a well
CN104866164A (zh) * 2014-02-22 2015-08-26 王真 一种基于眨眼信号模式检测实现的人机交互系统与方法
CN106671084A (zh) * 2016-12-20 2017-05-17 华南理工大学 一种基于脑机接口的机械臂自主辅助系统及方法
CN108225330A (zh) * 2018-01-03 2018-06-29 华南理工大学 一种基于卡尔曼滤波的可见光动态定位方法
CN109901701A (zh) * 2017-12-10 2019-06-18 广州映博智能科技有限公司 一种基于计算机视觉的鼠标操作系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5522260A (en) * 1993-04-09 1996-06-04 Schlumberger Technology Corporation Method and apparatus for determining a depth correction for a logging tool in a well
CN104866164A (zh) * 2014-02-22 2015-08-26 王真 一种基于眨眼信号模式检测实现的人机交互系统与方法
CN106671084A (zh) * 2016-12-20 2017-05-17 华南理工大学 一种基于脑机接口的机械臂自主辅助系统及方法
CN109901701A (zh) * 2017-12-10 2019-06-18 广州映博智能科技有限公司 一种基于计算机视觉的鼠标操作系统
CN108225330A (zh) * 2018-01-03 2018-06-29 华南理工大学 一种基于卡尔曼滤波的可见光动态定位方法

Also Published As

Publication number Publication date
CN110673721A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
Qi et al. A cybertwin based multimodal network for ecg patterns monitoring using deep learning
CN110673721B (zh) 基于视觉与意念信号协同控制的机器人看护系统
Oubre et al. Estimating upper-limb impairment level in stroke survivors using wearable inertial sensors and a minimally-burdensome motor task
Hotson et al. Individual finger control of a modular prosthetic limb using high-density electrocorticography in a human subject
CN110072454B (zh) 生产管理设备、方法以及程序
CN110666791B (zh) 一种基于深度学习的rgbd机器人看护系统及方法
US20190286234A1 (en) System and method for synchronized neural marketing in a virtual environment
CN109890289A (zh) 情绪估计设备、方法和程序
US20130324857A1 (en) Automated system for workspace, range of motion and functional analysis
CN110840666B (zh) 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法
CN105662356A (zh) 一种生理体征监测方法及装置
CN108646915B (zh) 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统
US10849532B1 (en) Computer-vision-based clinical assessment of upper extremity function
Li et al. Three-dimensional pose estimation of infants lying supine using data from a Kinect sensor with low training cost
Tang et al. Wearable supernumerary robotic limb system using a hybrid control approach based on motor imagery and object detection
Fiorini et al. Daily gesture recognition during human-robot interaction combining vision and wearable systems
Gupta et al. Analysis and identification of dermatological diseases using Gaussian mixture modeling
Mehrizi et al. Automatic health problem detection from gait videos using deep neural networks
CN114999646A (zh) 新生儿运动发育评估系统、方法、装置及存储介质
Wahl et al. WISEglass: Smart eyeglasses recognising context
Natarajan et al. Reha@ home-a vision based markerless gait analysis system for rehabilitation at home
EP3122253A1 (en) Activity and exercise monitoring system
Du et al. Vision-Based Robotic Manipulation of Intelligent Wheelchair with Human-Computer Shared Control
Vanny et al. Physiological responses-based emotion recognition using multi-class SVM with RBF Kernel
CN113041092A (zh) 基于多传感器信息融合的远程康复训练系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant