CN107811735A - 一种辅助进食方法、系统、设备及计算机存储介质 - Google Patents

一种辅助进食方法、系统、设备及计算机存储介质 Download PDF

Info

Publication number
CN107811735A
CN107811735A CN201710994582.3A CN201710994582A CN107811735A CN 107811735 A CN107811735 A CN 107811735A CN 201710994582 A CN201710994582 A CN 201710994582A CN 107811735 A CN107811735 A CN 107811735A
Authority
CN
China
Prior art keywords
mouth
transmission device
user
food
brain wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710994582.3A
Other languages
English (en)
Other versions
CN107811735B (zh
Inventor
杨祖元
苏镜
汪振
谢胜利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201710994582.3A priority Critical patent/CN107811735B/zh
Publication of CN107811735A publication Critical patent/CN107811735A/zh
Application granted granted Critical
Publication of CN107811735B publication Critical patent/CN107811735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47GHOUSEHOLD OR TABLE EQUIPMENT
    • A47G21/00Table-ware

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种辅助进食方法、系统、设备及计算机存储介质,其中该方法包括:显示分别与每一个食物信息对应的刺激信号;采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波;根据采集的脑电波分析得出目标食物信息,发送分析结果至传动装置,以供传动装置根据分析结果选取用户选择的食物;实时对包含用户嘴唇的嘴部进行定位,并计算定位后的嘴部与传动装置间的位置信息,将位置信息发送至传动装置,以供传动装置根据位置信息将选取的食物送至用户的嘴部。本发明公开的一种辅助进食方法为用户选取的食物更加符合用户的意愿,在一定程度上解决了如何辅助手部不灵活的患者自动摄取食物的技术问题。

Description

一种辅助进食方法、系统、设备及计算机存储介质
技术领域
本发明涉及生物医疗与智能信息处理技术领域,更具体地说,涉及一种辅助进食方法、系统、设备及计算机存储介质。
背景技术
生活中,因为手部残疾、脑血栓、肌肉萎缩等造成手部不灵活的患者难以自己摄取食物,需要看护人员辅助才能完成摄取食物的过程。
然而,即使有看护人员的辅助,患者有时还是难以按照自己的意愿选择食物。
因此,如何辅助手部不灵活的患者自动摄取食物是目前本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种辅助进食方法,其能在一定程度上解决如何辅助手部不灵活的患者自动摄取食物的技术问题。本发明还提供了一种辅助进食系统、设备及计算机存储介质。
为了实现上述目的,本发明提供如下技术方案:
一种辅助进食方法,包括:
显示分别与每一个食物信息对应的刺激信号;
采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波;
根据采集的脑电波分析得出所述目标食物信息,发送分析结果至传动装置,以供所述传动装置根据所述分析结果选取用户选择的食物;
实时对包含用户嘴唇的嘴部进行定位,并计算定位后的所述嘴部与所述传动装置间的位置信息,将所述位置信息发送至所述传动装置,以供所述传动装置根据所述位置信息将选取的食物送至所述嘴部。
优选的,采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波,包括:
基于预设的N个采集通道采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波,得到N个脑电波;
根据采集的脑电波分析得出所述目标食物信息,包括:
分别计算N个脑电波与各个刺激信号对应的预设的训练脑电波间的相关性系数,确定数值最大的相关性系数为目标相关性系数,将参与所述目标相关性系数的计算过程的训练脑电波对应的刺激信号作为目标刺激信号,确定所述目标刺激信号对应的食物信息为所述目标食物信息。
优选的,所述显示分别与每一个食物信息对应的刺激信号,包括:
显示分别与每一个食物信息对应的闪烁频率;
采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波,包括:
采集用户在目标食物信息对应的闪烁频率的刺激下产生的脑电波。
优选的,所述实时对包含用户嘴唇的嘴部进行定位,包括:
获取上一帧用户图像中的嘴部位置;
将上一帧用户图像中以所述嘴部位置的中心点为圆心、以预设数值为半径的区域确定为当前待查找区域;其中,所述预设数值的大小为T*r,T为上一帧用户图像与当前帧用户图像间的获取时间差,r为所述嘴部的半径;
获取当前帧用户图像,并在当前帧用户图像中与当前待查找区域对应的区域上查找相应的嘴部位置。
优选的,所述在当前帧用户图像中与当前待查找区域对应的区域上查找相应的嘴部位置之后,所述计算定位后的所述嘴部与所述传动装置间的位置信息之前,还包括:
在当前帧用户图像中与当前待查找区域对应的区域上未查找到相应的嘴部位置时,基于卡尔曼滤波器对当前帧用户图像中的嘴部位置进行预测,根据预测结果确定相应的嘴部位置。
优选的,所述计算定位后的所述嘴部与所述传动装置间的位置信息,包括:
基于预设的位置计算公式计算定位后的所述嘴部与所述传动装置间的位置信息;
所述位置计算公式包括:X=Z/f*center(x);Y=Z/f*center(y);Z=targetdia/r*f;M=(X^2+Y^2+Z^2)^(1/2);N=arctan(X/Y);
其中,f为图像焦距,center(x)为所述嘴部在当前帧用户图像中的中心x坐标,center(y)为所述嘴部在当前帧图像中的中心y坐标,X为所述嘴部相对于所述传动装置的中心x坐标,Y为所述嘴部相对于所述传动装置的中心y坐标,Z为所述嘴部相对于所述传动装置的中心z坐标,targetdia为所述嘴部的直径,r为所述嘴部的半径,M为所述嘴部相对于所述传动装置的距离,N为所述嘴部相对于所述传动装置的角度。
本发明还提供了一种辅助进食系统,包括:
显示模块,用于显示分别与每一个食物信息对应的刺激信号;
采集模块,用于采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波;
分析模块,用于根据采集的脑电波分析得出所述目标食物信息,发送分析结果至传动装置,以供所述传动装置根据所述分析结果选取用户选择的食物;
定位模块,用于实时对包含用户嘴唇的嘴部进行定位,并计算定位后的所述嘴部与所述传动装置间的位置信息,将所述位置信息发送至所述传动装置,以供所述传动装置根据所述位置信息将选取的食物送至所述嘴部。
优选的,所述传动装置包括机械手臂。
本发明还提供了一种辅助进食设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上任一所述一种辅助进食方法的步骤。
优选的,还包括:
传动装置,用于接收所述处理器发送的指令,并基于发送的指令完成相应的动作。
本发明还提供了一种计算机存储介质,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述一种辅助进食方法的步骤。
本发明提供的一种辅助进食方法,包括:显示分别与每一个食物信息对应的刺激信号;采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波;根据采集的脑电波分析得出目标食物信息,发送分析结果至传动装置,以供传动装置根据分析结果选取用户选择的食物;实时对包含用户嘴唇的嘴部进行定位,并计算定位后的嘴部与传动装置间的位置信息,将位置信息发送至传动装置,以供传动装置根据位置信息将选取的食物送至嘴部。本发明提供的一种辅助进食方法中,先显示分别与每一个食物信息对应的刺激信号;然后采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波;接着根据采集的脑电波分析得出目标食物信息,即通过用户的脑电波来确定用户选择的食物信息,使得用户选择的食物信息符合用户自身的意愿,将分析结果发送至传动装置,这样,传动装置便可以根据分析结果选取用户选择的目标食物;最后实时对包含用户嘴唇的嘴部进行定位,并计算定位后的嘴部与传动装置间的位置信息,将位置信息发送至传动装置,以供传动装置根据位置信息将选取的食物送至用户的嘴部。本发明提供的一种辅助进食方法可以根据用户的意愿自动将用户选择的食物送至用户的嘴唇,与现有技术中看护人员辅助患者进食的方法相比,选取的食物更加符合用户的意愿。综上所述,本发明提供的一种辅助进食方法在一定程度上解决了如何辅助手部不灵活的患者自动摄取食物的技术问题。本发明实施例提供的一种辅助进食系统、设备及计算机存储介质也解决了相应的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种辅助进食方法的流程图;
图2为本发明实施例提供的一种辅助进食方法中对嘴部进行定位的方法流程图;
图3为本发明实施例提供的一种辅助进食系统的结构示意图;
图4为本发明实施例提供的一种辅助进食设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的一种辅助进食方法中,各个步骤的执行主体可以为本发明实施例提供的一种辅助进食系统,而该系统可以应用于机器人等设备上,为了描述方便,这里将各个步骤的执行主体设定为辅助进食系统。
请参阅图1,图1为本发明实施例提供的一种辅助进食方法的流程图。
本发明实施例提供的一种辅助进食方法,可以包括以下步骤:
步骤S101:显示分别与每一个食物信息对应的刺激信号。
实际应用中,辅助进食系统显示的刺激信号的数量可以与食物信息的数量相同,其中,一个刺激信号对应一个食物信息,食物信息的数量可以根据实际需要确定。这里所说的刺激信号为能刺激用户产生脑电波的信号,且不同的刺激信号能刺激用户产生不同的脑电波。
步骤S102:采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波。
当用户选择自身所需的食物信息后,即选择目标食物信息后,便会在目标食物信息对应的刺激信号的刺激下产生脑电波。之后,辅助进食系统便可以采集用户产生的脑电波。
步骤S103:根据采集的脑电波分析得出目标食物信息,发送分析结果至传动装置,以供传动装置根据分析结果选取用户选择的食物。
辅助进食系统在采集到脑电波后,便可以根据采集的脑电波分析得出目标食物信息,之后,便可以发送分析结果至传动装置,以供传动装置根据分析结果选取用户选择的食物。这里所说的传动装置为能够将目标物体由一个地方送至另一个地方的装置,比如机械手臂等。
步骤S104:实时对包含用户嘴唇的嘴部进行定位,并计算定位后的嘴部与传动装置间的位置信息,将位置信息发送至传动装置,以供传动装置根据位置信息将选取的食物送至嘴部。
实际应用中,辅助进食系统可以先实时对用户的嘴部进行定位,然后再计算定位后的嘴部与传动装置间的位置信息,最后将位置信息发送至传动装置,以供传动装置根据位置信息将选取的食物送至用户的嘴部。这里所说的用户的嘴部为包含用户嘴唇的部位。
本发明提供的一种辅助进食方法,包括:显示分别与每一个食物信息对应的刺激信号;采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波;根据采集的脑电波分析得出目标食物信息,发送分析结果至传动装置,以供传动装置根据分析结果选取用户选择的食物;实时对包含用户嘴唇的嘴部进行定位,并计算定位后的嘴部与传动装置间的位置信息,将位置信息发送至传动装置,以供传动装置根据位置信息将选取的食物送至嘴部。本发明提供的一种辅助进食方法中,先显示分别与每一个食物信息对应的刺激信号;然后采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波;接着根据采集的脑电波分析得出目标食物信息,即通过用户的脑电波来确定用户选择的食物信息,使得用户选择的食物信息符合用户自身的意愿,将分析结果发送至传动装置,这样,传动装置便可以根据分析结果选取用户选择的目标食物;最后实时对包含用户嘴唇的嘴部进行定位,并计算定位后的嘴部与传动装置间的位置信息,将位置信息发送至传动装置,以供传动装置根据位置信息将选取的食物送至用户的嘴部。本发明提供的一种辅助进食方法可以根据用户的意愿自动将用户选择的食物送至用户的嘴唇,与现有技术中看护人员辅助患者进食的方法相比,选取的食物更加符合用户的意愿。综上所述,本发明提供的一种辅助进食方法在一定程度上解决了如何辅助手部不灵活的患者自动摄取食物的技术问题。
本发明实施例提供的一种辅助进食方法中,采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波,可以包括:
基于预设的N个采集通道采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波,得到N个脑电波;
相应的,根据采集的脑电波分析得出目标食物信息,可以包括:
分别计算N个脑电波与各个刺激信号对应的预设的训练脑电波间的相关性系数,确定数值最大的相关性系数为目标相关性系数,将参与目标相关性系数的计算过程的训练脑电波对应的刺激信号作为目标刺激信号,确定目标刺激信号对应的食物信息为目标食物信息。
实际应用中,辅助进食系统可以基于预设的N个采集通道采集用户产生的脑电波,得到N个脑电波,相应的,可以借助相关性系数对这N个脑电波进行分析,确定目标食物信息,具体过程如上描述,这里不再赘述,计算相关性系数的算法可以为CAA算法等。这里所说的训练脑电波可以是预先用不同的刺激信号对测试人员进行刺激,采集测试人员在刺激信号的刺激下产生的脑电波得到的,实际应用中,还可以建立刺激信号与训练脑电波间的对应关系,借助对应关系可以很方便的得到训练脑电波对应的刺激信号。借助N个采集通道可以使得脑机接口分析用户选择的食物信息的分析过程更加准确。实际应用中,采集通道的个数可以根据实际需要确定,比如,辅助进食系统可以通过脑电系统Neuroscan32的10个通道采集用户产生的脑电波,脑电系统Neuroscan32采用国际10-20导联头皮电极系统记录采集的脑电波,这里所说的10个通道分别为FP1、FP2、F3、F4、C3、C4、P3、P4、Fz和CZ;实际应用中,采集通道的采集频率可以是256Hz,还可以设置0.5-50Hz间的带通滤波器频带宽度对采集通道采集的脑电波进行滤波处理,减少非脑电波的干扰,提高采集准确率。
本发明实施例提供的一种辅助进食方法中,显示分别与每一个食物信息对应的刺激信号,可以包括:
显示分别与每一个食物信息对应的闪烁频率;
采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波,可以包括:
采集用户在目标食物信息对应的闪烁频率的刺激下产生的脑电波。
实际应用中,本发明实施例提供的一种辅助进食方法中的刺激信号可以是闪烁频率,借助闪烁频率可以很方便的得到刺激信号。当然,刺激信号还可以为颜色、亮度等,刺激信号还可以为颜色、亮度等的组合等,本发明在这里不做具体限定。
请参阅图2,图2为本发明实施例提供的一种辅助进食方法中对嘴部进行定位的方法流程图。
本发明实施例提供的一种辅助进食方法中,实时对包含用户嘴唇的嘴部进行定位,可以包括:
步骤S201:获取上一帧用户图像中的嘴部位置。
步骤S202:将上一帧用户图像中以嘴部位置的中心点为圆心、以预设数值为半径的区域确定为当前待查找区域;其中,预设数值的大小为T*r,T为上一帧用户图像与当前帧用户图像间的获取时间差,r为嘴部的半径。
步骤S203:获取当前帧用户图像,并在当前帧用户图像中与当前待查找区域对应的区域上查找相应的嘴部位置。
实际应用中,用户的嘴部可以是运动的,这时辅助进食系统可以借助用户图片对用户的嘴部位置进行预测和定位,这样可以缩短辅助进食系统对用户的嘴部位置进行定位的时间,提高效率。
本发明实施例提供的一种辅助进食方法中,在当前帧用户图像中与当前待查找区域对应的区域上查找相应的嘴部位置之后,计算定位后的嘴部与传动装置间的位置信息之前,还可以包括:
在当前帧用户图像中与当前待查找区域对应的区域上未查找到相应的嘴部位置时,基于卡尔曼滤波器对当前帧用户图像中的嘴部位置进行预测,根据预测结果确定相应的嘴部位置。
实际应用中,有时会出现用户运动过快,辅助进食系统无法确定用户的嘴部在当前帧用户图像中的位置的情况,这时,可以采用卡尔曼滤波器对用户的嘴部位置进行预测,然后根据预测结果确定用户的嘴部位置,这样可以提高辅助进食系统在用户运动过快的情况下对用户的嘴部位置进行定位的速率。当然,实际应用中,辅助进食系统还可以采用其他的跟踪算法对用户的嘴部位置进行定位,本发明在这里不做具体限定。
本发明实施例提供的一种辅助进食方法中,计算定位后的嘴部与传动装置间的位置信息,可以包括:
基于预设的位置计算公式计算定位后的嘴部与传动装置间的位置信息;
位置计算公式包括:X=Z/f*center(x);Y=Z/f*center(y);Z=targetdia/r*f;M=(X^2+Y^2+Z^2)^(1/2);N=arctan(X/Y);
其中,f为图像焦距,center(x)为嘴部在当前帧用户图像中的中心x坐标,center(y)为嘴部在当前帧图像中的中心y坐标,X为嘴部相对于传动装置的中心x坐标,Y为嘴部相对于传动装置的中心y坐标,Z为嘴部相对于传动装置的中心z坐标,targetdia为嘴部的直径,r为嘴部的半径,M为嘴部相对于传动装置的距离,N为嘴部相对于传动装置的角度。
借助本发明实施例提供的位置计算公式可以方便快速的得到用户的嘴部与传动装置间的位置信息。应当指出,辅助进食系统在计算定位后的用户的嘴部与传动装置间的位置信息的过程中,将用户的嘴部视为了一个圆,将用户嘴部上两点连线间的最大距离视为了圆的直径,这样将用户的嘴部视为一个圆的好处是方便计算过程,进而提高计算效率。
本发明还提供了一种辅助进食系统,其具有本发明实施例提供的一种辅助进食方法具有的对应效果。请参阅图3,图3为本发明实施例提供的一种辅助进食系统的结构示意图。
本发明实施例提供的一种辅助进食系统,可以包括:
显示模块A1,用于显示分别与每一个食物信息对应的刺激信号;
采集模块A2,用于采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波;
分析模块A3,用于根据采集的脑电波分析得出目标食物信息,发送分析结果至传动装置,以供传动装置根据分析结果选取用户选择的食物;
定位模块A4,用于实时对包含用户嘴唇的嘴部进行定位,并计算定位后的嘴部与传动装置间的位置信息,将位置信息发送至传动装置,以供传动装置根据位置信息将选取的食物送至嘴部。
实际应用中,辅助进食系统显示的还可以是开始/结束信息对应的刺激信号,这样,当采集用户选择该开始/结束信息后产生的与该开始/结束信息对应的刺激信号对应的脑电波,并解析出用户选择的信息是开始/结束信息时,辅助进食系统便可以判断自身是否处于工作状态,若是,则控制自身的各个模块和传动装置结束工作,若否,则控制自身的各个模块和传动装置进入工作状态。实际应用中,传动装置可以有三种状态,第一种状态是未启动时的原始状态,第二种状态是传动装置选取食物后等待定位模块发送位置信息的状态,第三种状态是传动装置将食物送至用户的嘴部的状态。实际应用中,分析模块与传动装置、定位模块和传动装置间的信息交互可以是以指令的形式进行的,当然信息交互还可以以其他形式进行,本发明在这里不做具体限定。实际应用中,可以认为传动装置与用户的嘴部间的位置小于预设值时,便确定传动装置将食物送至了用户的嘴部,预设值可以根据实际需要确定,比如10厘米等。
本发明实施例提供的一种辅助进食系统中,传动装置包括机械手臂。
本发明实施例提供的一种辅助进食系统中,采集模块可以包括:
第一采集单元,用于基于预设的N个采集通道采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波,得到N个脑电波;
分析模块可以包括:
分析单元,用于分别计算N个脑电波与各个刺激信号对应的预设的训练脑电波间的相关性系数,确定数值最大的相关性系数为目标相关性系数,将参与目标相关性系数的计算过程的训练脑电波对应的刺激信号作为目标刺激信号,确定目标刺激信号对应的食物信息为目标食物信息。
本发明实施例提供的一种辅助进食系统中,显示模块可以包括:
显示单元,用于显示分别与每一个食物信息对应的闪烁频率;
采集模块可以包括:
第二采集单元,用于采集用户在目标食物信息对应的闪烁频率的刺激下产生的脑电波。
本发明实施例提供的一种辅助进食系统中,定位模块可以包括:
第一获取单元,用于获取上一帧用户图像中的嘴部位置;
确定单元,用于将上一帧用户图像中以嘴部位置的中心点为圆心、以预设数值为半径的区域确定为当前待查找区域;其中,预设数值的大小为T*r,T为上一帧用户图像与当前帧用户图像间的获取时间差,r为嘴部的半径;
第二获取单元,用于获取当前帧用户图像,并在当前帧用户图像中与当前待查找区域对应的区域上查找相应的嘴部位置。
本发明实施例提供的一种辅助进食系统中,还可以包括:
预测模块,用于在第二获取单元在当前帧用户图像中与当前待查找区域对应的区域上查找相应的嘴部位置之后,在定位模块计算定位后的嘴部与传动装置间的位置信息之前,在当前帧用户图像中与当前待查找区域对应的区域上未查找到相应的嘴部位置时,基于卡尔曼滤波器对当前帧用户图像中的嘴部位置进行预测,根据预测结果确定相应的嘴部位置。
本发明实施例提供的一种辅助进食系统中,定位模块可以包括:
计算单元,用于基于预设的位置计算公式计算定位后的嘴部与传动装置间的位置信息;
位置计算公式包括:X=Z/f*center(x);Y=Z/f*center(y);Z=targetdia/r*f;M=(X^2+Y^2+Z^2)^(1/2);N=arctan(X/Y);
其中,f为图像焦距,center(x)为嘴部在当前帧用户图像中的中心x坐标,center(y)为嘴部在当前帧图像中的中心y坐标,X为嘴部相对于传动装置的中心x坐标,Y为嘴部相对于传动装置的中心y坐标,Z为嘴部相对于传动装置的中心z坐标,targetdia为嘴部的直径,r为嘴部的半径,M为嘴部相对于传动装置的距离,N为嘴部相对于传动装置的角度。
本发明还提供了一种辅助进食设备计计算机存储介质,其均具有本发明实施例提供的一种辅助进食方法具有的对应效果。请参阅图4,图4为本发明实施例提供的一种辅助进食设备的结构示意图。
本发明实施例提供的一种辅助进食设备,可以包括:
存储器B1,用于存储计算机程序;
处理器B2,用于执行计算机程序时实现如上任一实施例所描述的一种辅助进食方法的步骤。
本发明实施例提供的一种辅助进食设备中,还可以包括:
传动装置,用于接收处理器发送的指令,并基于发送的指令完成相应的动作。
本发明实施例提供的一种计算机存储介质中,计算机存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上任一实施例所描述的一种辅助进食方法的步骤。
本发明实施例提供的一种辅助进食系统、设备及计算机存储介质中相关部分的说明请参见本发明实施例提供的一种辅助进食方法中对应部分的详细说明,在此不再赘述。另外,本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种辅助进食方法,其特征在于,包括:
显示分别与每一个食物信息对应的刺激信号;
采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波;
根据采集的脑电波分析得出所述目标食物信息,发送分析结果至传动装置,以供所述传动装置根据所述分析结果选取用户选择的食物;
实时对包含用户嘴唇的嘴部进行定位,并计算定位后的所述嘴部与所述传动装置间的位置信息,将所述位置信息发送至所述传动装置,以供所述传动装置根据所述位置信息将选取的食物送至所述嘴部。
2.根据权利要求1所述的方法,其特征在于,采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波,包括:
基于预设的N个采集通道采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波,得到N个脑电波;
根据采集的脑电波分析得出所述目标食物信息,包括:
分别计算N个脑电波与各个刺激信号对应的预设的训练脑电波间的相关性系数,确定数值最大的相关性系数为目标相关性系数,将参与所述目标相关性系数的计算过程的训练脑电波对应的刺激信号作为目标刺激信号,确定所述目标刺激信号对应的食物信息为所述目标食物信息。
3.根据权利要求1所述的方法,其特征在于,所述显示分别与每一个食物信息对应的刺激信号,包括:
显示分别与每一个食物信息对应的闪烁频率;
采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波,包括:
采集用户在目标食物信息对应的闪烁频率的刺激下产生的脑电波。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述实时对包含用户嘴唇的嘴部进行定位,包括:
获取上一帧用户图像中的嘴部位置;
将上一帧用户图像中以所述嘴部位置的中心点为圆心、以预设数值为半径的区域确定为当前待查找区域;其中,所述预设数值的大小为T*r,T为上一帧用户图像与当前帧用户图像间的获取时间差,r为所述嘴部的半径;
获取当前帧用户图像,并在当前帧用户图像中与当前待查找区域对应的区域上查找相应的嘴部位置。
5.根据权利要求4所述的方法,其特征在于,所述在当前帧用户图像中与当前待查找区域对应的区域上查找相应的嘴部位置之后,所述计算定位后的所述嘴部与所述传动装置间的位置信息之前,还包括:
在当前帧用户图像中与当前待查找区域对应的区域上未查找到相应的嘴部位置时,基于卡尔曼滤波器对当前帧用户图像中的嘴部位置进行预测,根据预测结果确定相应的嘴部位置。
6.根据权利要求4所述的方法,其特征在于,所述计算定位后的所述嘴部与所述传动装置间的位置信息,包括:
基于预设的位置计算公式计算定位后的所述嘴部与所述传动装置间的位置信息;
所述位置计算公式包括:X=Z/f*center(x);Y=Z/f*center(y);Z=targetdia/r*f;M=(X^2+Y^2+Z^2)^(1/2);N=arctan(X/Y);
其中,f为图像焦距,center(x)为所述嘴部在当前帧用户图像中的中心x坐标,center(y)为所述嘴部在当前帧图像中的中心y坐标,X为所述嘴部相对于所述传动装置的中心x坐标,Y为所述嘴部相对于所述传动装置的中心y坐标,Z为所述嘴部相对于所述传动装置的中心z坐标,targetdia为所述嘴部的直径,r为所述嘴部的半径,M为所述嘴部相对于所述传动装置的距离,N为所述嘴部相对于所述传动装置的角度。
7.一种辅助进食系统,其特征在于,包括:
显示模块,用于显示分别与每一个食物信息对应的刺激信号;
采集模块,用于采集用户在目标食物信息对应的刺激信号的刺激下产生的脑电波;
分析模块,用于根据采集的脑电波分析得出所述目标食物信息,发送分析结果至传动装置,以供所述传动装置根据所述分析结果选取用户选择的食物;
定位模块,用于实时对包含用户嘴唇的嘴部进行定位,并计算定位后的所述嘴部与所述传动装置间的位置信息,将所述位置信息发送至所述传动装置,以供所述传动装置根据所述位置信息将选取的食物送至所述嘴部。
8.根据权利要求7所述的系统,其特征在于,所述传动装置包括机械手臂。
9.一种辅助进食设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述一种辅助进食方法的步骤。
10.根据权利要求9所述的设备,其特征在于,还包括:
传动装置,用于接收所述处理器发送的指令,并基于发送的指令完成相应的动作。
11.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述一种辅助进食方法的步骤。
CN201710994582.3A 2017-10-23 2017-10-23 一种辅助进食方法、系统、设备及计算机存储介质 Active CN107811735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710994582.3A CN107811735B (zh) 2017-10-23 2017-10-23 一种辅助进食方法、系统、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710994582.3A CN107811735B (zh) 2017-10-23 2017-10-23 一种辅助进食方法、系统、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN107811735A true CN107811735A (zh) 2018-03-20
CN107811735B CN107811735B (zh) 2020-01-07

Family

ID=61608361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710994582.3A Active CN107811735B (zh) 2017-10-23 2017-10-23 一种辅助进食方法、系统、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN107811735B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147351A (zh) * 2018-09-07 2019-01-04 广东工业大学 一种交通信号灯控制系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339664A (zh) * 2008-08-27 2009-01-07 北京中星微电子有限公司 一种目标跟踪方法及系统
CN102013103A (zh) * 2010-12-03 2011-04-13 上海交通大学 实时动态嘴唇跟踪方法
CN102699918A (zh) * 2012-06-20 2012-10-03 昆山市工业技术研究院有限责任公司 助餐机器人控制系统
CN102722244A (zh) * 2012-05-25 2012-10-10 西安交通大学 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法
CN102945078A (zh) * 2012-11-13 2013-02-27 深圳先进技术研究院 人机交互设备及人机交互方法
CN103019383A (zh) * 2012-12-18 2013-04-03 北京大学 一种稳态视觉诱发电位脑—机接口信号识别方法
CN202874383U (zh) * 2012-10-18 2013-04-17 长春市东方票证印务有限责任公司 一种可自动辅助残疾人就餐的自助餐桌
CN104216515A (zh) * 2014-07-25 2014-12-17 北京机械设备研究所 一种基于脑机接口的载人飞船非接触式操控方法
CN104524689A (zh) * 2014-12-03 2015-04-22 上海交通大学 一种通过脑-脑接口实现异体生物控制的系统及方法
CN104799984A (zh) * 2015-05-14 2015-07-29 华东理工大学 基于脑控移动眼的残疾人辅助系统及其控制方法
CN204700888U (zh) * 2015-06-12 2015-10-14 唐志伟 一种新型喂食机器人
CN105260025A (zh) * 2015-10-15 2016-01-20 中国兵器科学研究院 基于移动终端的稳态视觉诱发电位脑机接口系统
CN105479462A (zh) * 2016-01-05 2016-04-13 佛山科学技术学院 一种助餐服务机器人
CN105549743A (zh) * 2016-01-18 2016-05-04 中国医学科学院生物医学工程研究所 一种基于脑-机接口的机器人系统及实现方法
CN106137207A (zh) * 2015-04-03 2016-11-23 北京智谷睿拓技术服务有限公司 进食动作信息确定方法和装置
CN205992140U (zh) * 2016-01-23 2017-03-01 鸿富锦精密工业(武汉)有限公司 脑电信号控制的智能机器人
CN106774851A (zh) * 2016-11-25 2017-05-31 华东理工大学 基于脑机接口的触感手指运动康复系统及方法
CN106976094A (zh) * 2017-05-18 2017-07-25 山东科技大学 辅助上肢失能人餐饮的机械手系统及其工作方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339664A (zh) * 2008-08-27 2009-01-07 北京中星微电子有限公司 一种目标跟踪方法及系统
CN102013103A (zh) * 2010-12-03 2011-04-13 上海交通大学 实时动态嘴唇跟踪方法
CN102722244A (zh) * 2012-05-25 2012-10-10 西安交通大学 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法
CN102699918A (zh) * 2012-06-20 2012-10-03 昆山市工业技术研究院有限责任公司 助餐机器人控制系统
CN202874383U (zh) * 2012-10-18 2013-04-17 长春市东方票证印务有限责任公司 一种可自动辅助残疾人就餐的自助餐桌
CN102945078A (zh) * 2012-11-13 2013-02-27 深圳先进技术研究院 人机交互设备及人机交互方法
CN103019383A (zh) * 2012-12-18 2013-04-03 北京大学 一种稳态视觉诱发电位脑—机接口信号识别方法
CN104216515A (zh) * 2014-07-25 2014-12-17 北京机械设备研究所 一种基于脑机接口的载人飞船非接触式操控方法
CN104524689A (zh) * 2014-12-03 2015-04-22 上海交通大学 一种通过脑-脑接口实现异体生物控制的系统及方法
CN106137207A (zh) * 2015-04-03 2016-11-23 北京智谷睿拓技术服务有限公司 进食动作信息确定方法和装置
CN104799984A (zh) * 2015-05-14 2015-07-29 华东理工大学 基于脑控移动眼的残疾人辅助系统及其控制方法
CN204700888U (zh) * 2015-06-12 2015-10-14 唐志伟 一种新型喂食机器人
CN105260025A (zh) * 2015-10-15 2016-01-20 中国兵器科学研究院 基于移动终端的稳态视觉诱发电位脑机接口系统
CN105479462A (zh) * 2016-01-05 2016-04-13 佛山科学技术学院 一种助餐服务机器人
CN105549743A (zh) * 2016-01-18 2016-05-04 中国医学科学院生物医学工程研究所 一种基于脑-机接口的机器人系统及实现方法
CN205992140U (zh) * 2016-01-23 2017-03-01 鸿富锦精密工业(武汉)有限公司 脑电信号控制的智能机器人
CN106774851A (zh) * 2016-11-25 2017-05-31 华东理工大学 基于脑机接口的触感手指运动康复系统及方法
CN106976094A (zh) * 2017-05-18 2017-07-25 山东科技大学 辅助上肢失能人餐饮的机械手系统及其工作方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147351A (zh) * 2018-09-07 2019-01-04 广东工业大学 一种交通信号灯控制系统

Also Published As

Publication number Publication date
CN107811735B (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
Hotson et al. Individual finger control of a modular prosthetic limb using high-density electrocorticography in a human subject
Viviani et al. Hemispheric asymmetries and bimanual asynchrony in left-and right-handers
KR101666399B1 (ko) 다중 채널 표면 근전도에서의 신체 관절 운동학 정보 추출 방법, 이를 수행하기 위한 기록 매체 및 장치
CN109875501B (zh) 生理参数测量和反馈系统
US20130324857A1 (en) Automated system for workspace, range of motion and functional analysis
CN105208925A (zh) 心律失常驱动灶的分析和检测
CN105030206A (zh) 一种对脑刺激靶点进行检测及定位的系统及方法
CN103341232A (zh) 智能理疗仪
CN103815890A (zh) 一种利用智能手机摄像头检测心率的方法
CA2845438C (en) Circuit and method for use in transcranial magnetic stimulation
US20190142339A1 (en) Electrical stimulation facilitated symptom transference for empathic response
CN101658428A (zh) 灌注成像技术中对位图进行处理的方法和系统
CN116312940A (zh) 用于静脉发现和患者识别的红外光吸收的用法
CN107456239A (zh) 病床调整方法、装置及病床调整系统
CN110673721B (zh) 基于视觉与意念信号协同控制的机器人看护系统
CN107811735A (zh) 一种辅助进食方法、系统、设备及计算机存储介质
Shi et al. Brain computer interface system based on monocular vision and motor imagery for UAV indoor space target searching
CN110025376A (zh) 一种心脏介入手术模拟方法、终端设备及系统
Adans-Dester et al. Wearable sensors for stroke rehabilitation
WO2023185410A1 (zh) 刺激电极导线的成像识别方法及相关装置
CN105549733B (zh) 一种智能空间下基于稳态视觉诱发的脑-机接口系统及方法
CN116088686B (zh) 一种脑电溯源的运动想象脑机接口训练方法与系统
CN211325048U (zh) 帕金森诊断系统
CN115933873A (zh) 基于认知负荷控制三维场景构建的方法及系统
Wang et al. Multi-point surface FES hand rehabilitation system for stroke patients based on eye movement control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant