CN106214163A - 一种下肢畸形矫正术后康复的人工心理辅导装置 - Google Patents
一种下肢畸形矫正术后康复的人工心理辅导装置 Download PDFInfo
- Publication number
- CN106214163A CN106214163A CN201610565132.8A CN201610565132A CN106214163A CN 106214163 A CN106214163 A CN 106214163A CN 201610565132 A CN201610565132 A CN 201610565132A CN 106214163 A CN106214163 A CN 106214163A
- Authority
- CN
- China
- Prior art keywords
- patient
- module
- affective state
- state
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002980 postoperative effect Effects 0.000 title claims abstract description 41
- 206010024500 Limb malformation Diseases 0.000 title claims abstract description 32
- 210000003141 lower extremity Anatomy 0.000 title claims abstract description 32
- 230000008921 facial expression Effects 0.000 claims abstract description 55
- 230000002452 interceptive effect Effects 0.000 claims abstract description 39
- 230000006399 behavior Effects 0.000 claims abstract description 37
- 230000003993 interaction Effects 0.000 claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims description 30
- 230000008451 emotion Effects 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 18
- 230000001815 facial effect Effects 0.000 claims description 16
- 230000003187 abdominal effect Effects 0.000 claims description 13
- 230000004888 barrier function Effects 0.000 claims description 9
- 230000007935 neutral effect Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000001671 psychotherapy Methods 0.000 abstract 1
- 230000033228 biological regulation Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000017194 Affective disease Diseases 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 206010058046 Post procedural complication Diseases 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 230000010386 affect regulation Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Data Mining & Analysis (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Medical Informatics (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Rehabilitation Tools (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种下肢畸形矫正术后康复的人工心理辅导装置，能够辅助术后患者进行心理治疗。所述装置包括：图像采集模块、主控制器模块、行为交互模块及语音交互模块；所述图像采集模块，用于采集患者的面部表情图像，并将采集的所述面部表情图像上传至所述主控制器模块；所述主控制器模块，用于依据接收到的所述面部表情图像，确定所述患者当前的情感状态，若所述患者当前的情感状态与期望的情感状态不一致，则依据所述患者当前的情感状态，控制所述语音交互模块和所述行为交互模块分别与所述患者进行行为交互和语音交互，直到患者的情感状态达到期望的情感状态。本发明适用于智能化服务机器人技术领域。
Description
技术领域
本发明涉及智能化服务机器人技术领域，特别是指一种下肢畸形矫正术后康复的人工心理辅导装置。
背景技术
目前，我国存在和继续发生着数以百万计的下肢畸形与残缺，不仅给所述患者带来了极大的痛苦和经济负担，还造成严重的心理障碍。进行下肢畸形矫正术后的所述患者容易形成抑郁、焦虑、情感障碍以及心理排斥等反应，这些负面情感常常直接影响手术效果，甚至导致术后并发症，影响所述患者康复治疗。即使生理机能恢复，有时仍会给所述患者留下心理疾病，影响正常生活。因此，及时对所述患者进行心理辅导有助于恢复所述患者机体和生活质量。
现有技术中，术后心理辅助治疗大多依赖于心理医生，不仅局限了治疗时间及治疗地点，缺乏自主性和智能性，而且相当一部分所述患者不愿主动接受人工治疗，导致心理医生难以把握所述患者的心理状态，这给人工心理治疗带来极大不便。
发明内容
本发明要解决的技术问题是提供一种下肢畸形矫正术后康复的人工心理辅导装置，以解决现有技术所存在的术后心理辅助治疗大多依赖于心理医生，治疗时间及治疗地点易受限制，缺乏自主性和智能性的问题。
为解决上述技术问题，本发明实施例提供一种下肢畸形矫正术后康复的人工心理辅导装置，包括：图像采集模块、主控制器模块、行为交互模块及语音交互模块；
所述图像采集模块，用于采集患者的面部表情图像，并将采集的所述面部表情图像上传至所述主控制器模块；
所述主控制器模块，用于依据接收到的所述面部表情图像，确定所述患者当前的情感状态，若所述患者当前的情感状态与期望的情感状态不一致，则依据所述患者当前的情感状态，控制所述语音交互模块和所述行为交互模块分别与所述患者进行行为交互和语音交互，直到患者的情感状态达到期望的情感状态。
进一步地，所述装置还包括：无线发送模块；所述无线发送模块包括：头部无线发送单元和颈部无线发送单元；
所述图像采集模块包括：头部图像采集单元和颈部图像采集单元；
所述头部图像采集单元，用于采集所述患者所在室内的室内图像及所述患者的人脸图像，并将采集的所述室内图像及所述人脸图像通过所述头部无线发送单元发送至所述主控制器模块；
所述颈部图像采集单元，用于采集所述患者的面部表情图像，并将采集的所述面部表情图像通过所述颈部无线发送单元发送至所述主控制器模块。
进一步地，所述装置还包括：用于控制所述装置进行移动的机动模块；
所述主控制器模块，用于根据所述头部图像采集单元采集的室内图像，基于帧差法获取所述患者在室内的粗略位置，依据所述患者在室内的粗略位置，通过所述机动模块控制所述装置进行移动，当所述装置距离所述患者的距离小于预定阈值时，根据所述头部图像采集单元采集的所述患者的人脸图像，基于Haar特征进行人脸检测，依据人脸检测结果确定所述患者脸部所处的位置，并通过所述机动模块控制所述装置向所述患者脸部所处的位置进行移动。
进一步地，所述主控制器模块，用于根据所述颈部图像采集单元采集的所述患者的面部表情图像，确定所述患者当前的情感状态，若所述患者当前的情感状态与期望的情感状态不一致，则依据所述患者当前的情感状态，基于隐马尔科夫模型预测所述患者下一步最可能转向的情感状态，根据预测的所述患者下一步最可能转向的情感状态，控制所述语音交互模块和所述行为交互模块分别与所述患者进行行为交互和语音交互，直到患者的情感状态达到期望的情感状态。
进一步地，所述主控制器模块，用于根据所述颈部图像采集单元采集的所述患者的面部表情图像，采用GLBP算法识别人脸表情特征，再经过贝叶斯网络对所述患者的面部表情进行表情分类，并依据表情类别与情感状态类别之间的映射关系，得到所述患者当前的情感状态；其中，所述情感状态类别包括：积极情感状态、中性情感状态及消极情感状态。
进一步地，所述主控制器模块包括：第一无线接收单元及第二无线接收单元；所述第一无线接收单元及第二无线接收单分别接收所述头部无线发送单元及颈部无线发送单元发送的图像。
进一步地，所述行为交互模块包括：颈部运动单元及机械臂运动单元；
所述颈部运动单元，用于控制所述装置的颈部进行左、右、上、下移动，与所述患者进行行为交互，还用于为所述头部图像采集单元及所述颈部图像采集单元提供拍摄角度；
所述机械臂运动单元，用于实现仿人手臂动作。
进一步地，所述机动模块包括：主-从轮式移动底盘和超声波传感器；
所述主-从轮式移动底盘，用于控制所述装置进行移动；
所述超声波传感器，用于检测所述装置的周围是否有障碍物。
进一步地，所述装置还包括：用于表示所述患者当前的情感状态的LED灯控制模块，所述LED灯控制模块包括：两个眼部LED灯、两个耳部LED灯及一个嘴部LED灯；
所述主控制器模块，用于根据确定的所述患者当前的情感状态，控制相应的LED灯的亮灭来模拟所述患者当前的情感状态；其中，所述LED灯的亮灭与情感状态之间的映射关系包括：
当所述两个眼部LED灯、两个耳部LED灯、一个嘴部LED灯都亮的时候，表示为积极情感状态；
当所述两个眼部LED灯亮，同时所述两个耳部LED灯和一个嘴部LED灯灭的时候，表示为中性情感状态；
当所述两个眼部LED灯、两个耳部LED灯灭，同时所述一个嘴部LED灯亮的时候，表示为消极情感状态。
进一步地，所述装置还包括：腹部显示屏；
所述腹部显示屏，用于实时显示所述患者所在室内的室内图像、所述患者的面部表情图像、面部表情分类结果、所述患者当前的情感状态、与所述患者当前的情感状态相对应的卡通表情图像及剩余电量。
本发明的上述技术方案的有益效果如下：
上述方案中，通过图像采集模块采集的面部表情图像，并通过主控制器模块确定患者当前的情感状态，若所述患者当前的情感状态与期望的情感状态不一致，则依据所述患者当前的情感状态，控制所述语音交互模块和所述行为交互模块分别与所述患者进行行为交互和语音交互，直到患者的情感状态达到期望的情感状态时完成调节，进而达到了辅助术后患者心理治疗的作用，本装置为患者提供了良好的心理辅导平台。
附图说明
图1为本发明实施例提供的下肢畸形矫正术后康复的人工心理辅导装置的结构示意图；
图2为本发明实施例提供的下肢畸形矫正术后康复的人工心理辅导装置的详细结构示意图；
图3为本发明实施例提供的控制工作流程图；
图4为本发明实施例提供的移动跟踪患者过程示意图；
图5为本发明实施例提供的情感状态转移调节过程示意图；
图6为本发明实施例提供的人机交互示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的术后心理辅助治疗大多依赖于心理医生，治疗时间及治疗地点易受限制，缺乏自主性和智能性的问题，提供一种下肢畸形矫正术后康复的人工心理辅导装置。
参看图1所示，本发明实施例提供的下肢畸形矫正术后康复的人工心理辅导装置，包括：图像采集模块11、主控制器模块12、行为交互模块13及语音交互模块14；
所述图像采集模块11，用于采集患者的面部表情图像，并将采集的所述面部表情图像上传至所述主控制器模块12；
所述主控制器模块12，用于依据接收到的所述面部表情图像，确定所述患者当前的情感状态，若所述患者当前的情感状态与期望的情感状态不一致，则依据所述患者当前的情感状态，控制所述语音交互模块14和所述行为交互模块13分别与所述患者进行行为交互和语音交互，直到患者的情感状态达到期望的情感状态。
本发明实施例所述的下肢畸形矫正术后康复的人工心理辅导装置，通过图像采集模块采集的面部表情图像，并通过主控制器模块确定患者当前的情感状态，若所述患者当前的情感状态与期望的情感状态不一致，则依据所述患者当前的情感状态，控制所述语音交互模块和所述行为交互模块分别与所述患者进行行为交互和语音交互，直到患者的情感状态达到期望的情感状态时完成调节，进而达到了辅助术后患者心理治疗的作用，本装置为患者提供了良好的心理辅导平台。
本实施例中，所述装置作为一种人机合作装置，是帮助手术后患者进行心理调节的，所述装置具有能够满足不同类型患者的需求、不仅是肢畸形矫正术后康复的患者，也可以适用于其他疾病患者或普通人。所述装置受主观和外界环境影响小、易得到患者的信任，治疗时间及治疗地点不受限制，且具有一定自主性和智能性。
本实施例中，所述装置作为一种智能医疗辅助装置，是以心理学理论为基础，通过准确的面部表情观察和智能分析，准确地确定所述患者当前的情感状态，而后采取动态情感调控措施(例如，语音交互和行为交互)，引导患者的情感状态向更积极的状态转移，实现良好的心理辅导效果。
在前述下肢畸形矫正术后康复的人工心理辅导装置的具体实施方式中，进一步地，所述装置还包括：无线发送模块；所述无线发送模块包括：头部无线发送单元和颈部无线发送单元；
所述图像采集模块11包括：头部图像采集单元和颈部图像采集单元；
所述头部图像采集单元，用于采集所述患者所在室内的室内图像及所述患者的人脸图像，并将采集的所述室内图像及所述人脸图像通过所述头部无线发送单元发送至所述主控制器模块12；
所述颈部图像采集单元，用于采集所述患者的面部表情图像，并将采集的所述面部表情图像通过所述颈部无线发送单元发送至所述主控制器模块12。
本实施例中，如图2所示，所述图像采集模块11包括：头部图像采集单元和颈部图像采集单元；所述头部图像采集单元位于所述装置的头部，所述颈部图像采集单元位于所述装置的颈部；所述头部图像采集单元和颈部图像采集单元可以为相同配置的摄像头，例如，都可以是采用130万像素、视频格式为MJPEG、分辨率为640*480、帧率为30fps的互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)摄像头，也就是说，所述图像采集模块11是采用双摄像头获取图像。具体的，所述头部图像采集单元，主要用于采集患者所在室内的室内图像及所述患者的人脸图像，所述颈部图像采集单元，主要用于采集患者的面部表情图像。
本实施例中，采用双摄像头可以为采集室内图像、人脸图像、面部表情图像提供最佳拍摄角度，既保证了采集的室内图像、人脸图像的清晰流畅，为精确定位患者在室内位置提供了依据，又保证了人机交互过程中，患者面部表情图像的实时检测分析，从而可以提升所述装置的实时性和操作性。
本实施例中，考虑到所述装置移动和图像传输的速率问题，优选地，采用无线通信的方式将所述头部图像采集单元和颈部图像采集单元采集到的图像上传至所述主控制器模块12。作为一可选实施例，所述装置还包括：无线发送模块，所述无线发送模块传输速率为150Mbps，最大可支持分辨率1280*720，最大传输距离为70米。
本实施例中，所述无线发送模块包括：头部无线发送单元和颈部无线发送单元；所述头部图像采集单元和颈部图像采集单元分别通过所述头部无线发送单元和颈部无线发送单元与所述主控制器模块12进行通信，其中，所述头部图像采集单元与所述头部无线发送单元之间通过USB口连接，所述颈部图像采集单元与所述颈部无线发送单元之间通过USB口连接。
在前述下肢畸形矫正术后康复的人工心理辅导装置的具体实施方式中，进一步地，所述主控制器模块12包括：第一无线接收单元及第二无线接收单元；所述第一无线接收单元及第二无线接收单分别接收所述头部无线发送单元及颈部无线发送单元发送的图像。
本实施例中，所述主控制器模块12位于所述装置的内部，可以采用Cortext-A8处理器，所述Cortext-A8处理器位于主控板上，所述主控制器模块12包含两个无线接收单元，具体包括：第一无线接收单元及第二无线接收单元，其中，所述第一无线接收单元及第二无线接收单分别接收所述头部无线发送单元及颈部无线发送单元发送的图像，以实现所述图像采集模块11与所述主控制器模块12之间的高速通信，从而确保所述装置顺利完成采集的图像与所述主控制模块之间的传输。
本实施例中，所述头部图像采集单元通过所述头部无线发送单元与所述主控制器模块12的第一无线接收单元进行通信；所述颈部图像采集单元通过所述颈部无线发送单元与所述主控制器模块12的第二无线接收单元进行通信。
本实施例中，通过采用无线传输的无线发送模块，将所述图像采集模块11与所述主控制模块的无线接收单元互联互通，在所述装置处于移动状态下仍可实现图像传输，通信质量稳定可靠，且传输速率块，确保所述装置能够实时检测患者的位置并进行跟踪，从而准确地确定所述患者当前的情感状态。
在前述下肢畸形矫正术后康复的人工心理辅导装置的具体实施方式中，进一步地，所述装置还包括：用于控制所述装置进行移动的机动模块；
所述主控制器模块12，用于根据所述头部图像采集单元采集的室内图像，基于帧差法获取所述患者在室内的粗略位置，依据所述患者在室内的粗略位置，通过所述机动模块控制所述装置进行移动，当所述装置距离所述患者的距离小于预定阈值时，根据所述头部图像采集单元采集的所述患者的人脸图像，基于Haar特征进行人脸检测，依据人脸检测结果确定所述患者脸部所处的位置，并通过所述机动模块控制所述装置向所述患者脸部所处的位置进行移动。
本实施例中，由主控制器模块12根据采集到的所述室内图像进行定位计算，获取所述患者在室内的粗略位置，然后依据所述患者在室内的粗略位置，发送指令通过所述机动模块控制所述装置进行移动，完成患者位置首次粗略跟踪，当所述装置距离所述患者的距离小于预定阈值时，通过所述头部图像采集单元近距离采集所述患者的人脸图像，由主控制器模块12对采集到的人脸图像进行人脸检测，依据检测结果，进一步确定患者脸部所处的位置，依据确定所述患者脸部所处的位置，通过所述机动模块控制所述装置向所述患者脸部所处的位置进行移动，完成对患者的二次较准确跟踪定位。
本实施例中，所述装置具有实时移动跟踪患者的功能，并且依据检测结果进行两次跟踪，提升了跟踪功能的准确性。其中，依据所述头部图像采集单元采集的室内图像用于判别患者在室内空间的粗略位置，进行首次跟踪，之后依据人脸检测结果进行二次跟踪，对患者进行精确定位。
本实施例中，如图3所示，两次跟踪的流程可以包括：先将所述头部图像采集单元采集的室内图像上传至所述主控制器模块12像，由所述主控制器模块12采用帧差法检测有无动态目标，主控制器通过计算相邻两帧之间的图像像素差值，从视频帧背景中分离出动态目标，计算确定动态目标的粗略位置，然后发送相应的指令控制所述装置进行移动跟踪。近距离靠近动态目标后，通过头部图像采集单元采集人脸图像，基于Haar特征进行人脸检测，依据检测结果，进一步确定动态目标脸部的位置，依据确定所述动态目标脸部的位置，发送指令控制机动模块进行移动，使得所述装置向所述动态目标脸部的位置进行移动。
本实施例中，如图3所示，两次跟踪的详细流程可以包括：根据头部图像采集单元采集的室内图像开始检测室内有无用户，若没有用户则一直检测，若有用户则连续检测5次，确保用户存在，之后采用帧差法检测有无动态用户，若有动态用户，则进行用户粗略定位跟踪，然后基于Haar特征检测有无用户人脸，若有则连续监测5次，若没有则继续检测；若帧差法检测到没有动态用户，那么直接基于Haar特征检测有无静态人脸，根据人脸检测结果进行用户位置二次定位跟踪。
本实施例中，如图4所示，移动跟踪患者过程分析图，所述装置启动后，所述头部图像采集单元开始检测摄像范围内是否有动态目标，并用帧差法对动态目标进行粗略定位并控制所述机动模块向动态目标靠近。当没有动态目标或者检测到动态目标后需要利用Haar特征进行面部区域检测，若未发现人脸特征则循环搜索，若检测到人脸特征则控制所述机动模块采用闭环反馈的模式不断移动，直到所述装置距离所述患者的距离小于预定值为止，接着，可以采集面部表情图像进行面部表情识别和情感状态转移分析，为后续处理做好准备。例如，所述头部图像采集单元检测到有动态目标后，则定位所述动态目标大体方位并向所述动态目标移动，移动到一定距离后检测人脸特征，若检测到人脸特征，确定患者脸部所处的位置，并根据患者脸部所处的位置控制所述装置向患者脸部所处的位置进行移动，以方便较准确采集患者的面部表情图像，从而实现室内患者的检测以及移动跟踪。
本实施例中，在控制方面，所述主控制器模块12通过串口控制所述机动模块，实现所述装置的移动跟踪。
在前述下肢畸形矫正术后康复的人工心理辅导装置的具体实施方式中，进一步地，所述主控制器模块12，用于根据所述颈部图像采集单元采集的所述患者的面部表情图像，确定所述患者当前的情感状态，若所述患者当前的情感状态与期望的情感状态不一致，则依据所述患者当前的情感状态，基于隐马尔可夫模型(Hidden Markov Model，HMM)预测所述患者下一步最可能转向的情感状态，根据预测的所述患者下一步最可能转向的情感状态，控制所述语音交互模块14和所述行为交互模块13分别与所述患者进行行为交互和语音交互，直到患者的情感状态达到期望的情感状态。
本实施例中，根据确定的所述患者当前的情感状态，若所述患者当前的情感状态与期望的情感状态不一致，所述主控制器模块12基于隐马尔科夫模型分析预测患者情感状态转移过程，依据分析结果，发送指令控制所述语音交互模块14和行为交互模块13与所述患者进行交互，引导患者转向期望的情感行为，如果达到期望情感状态，则结束，若未达到则继续进行检测分析。
本实施例中，具体地，所述主控制器模块12根据所述颈部图像采集单元采集的所述患者的面部表情图像，确定患者当前的情感状态；将患者当前的情感状态与期望的情感状态进行对比，若所述患者当前的情感状态与期望的情感状态一致，则不做处理继续监测；若所述患者当前的情感状态与期望的情感状态不一致，则依据患者当前的情感状态和预先保存的所述患者的性格特征，基于隐马尔科夫模型预测患者下一步可能转向的情感状态；接着，根据预测的所述患者下一步可能转向的情感状态，采取智能调节措施(发送指令控制语音交互模块14和行为交互模块13与所述患者进行交互)，引导患者转向期望的情感状态，从而达到辅助术后患者心理治疗的作用，之后，继续监测患者表情特征。
本实施例中，基于隐马尔科夫模型预测患者下一步可能转向的情感状态包括：依据患者当前的情感状态和预先保存的所述患者的性格特征以及当前所处环境的刺激，结合先验情感状态转移矩阵计算下一刻不同情感状态空间概率，将空间概率最大值对应的情感状态作为所述患者下一步最可能转向的情感状态。
在前述下肢畸形矫正术后康复的人工心理辅导装置的具体实施方式中，进一步地，所述主控制器模块12，用于根据所述颈部图像采集单元采集的所述患者的面部表情图像，采用基于Gabor变换的局部二进制模式(GLBP)算法识别人脸表情特征，再经过贝叶斯网络对所述患者的面部表情进行表情分类，并依据表情类别与情感状态类别之间的映射关系，得到所述患者当前的情感状态；其中，所述情感状态类别包括：积极情感状态、中性情感状态及消极情感状态。
本实施例中，如图5所示，所述主控制器模块12根据所述颈部图像采集单元上传的面部表情图像，采用GLBP算法识别人脸表情特征，具体的，采用Gabor小波进行特征提取，并采用局部二进制模式(Local Binary Patterns,LBP)算法对提取的特征进行降维处理，再经过贝叶斯网络对所述患者的面部表情进行表情分类，以表情分类结果为基础，最终确定所述患者当前的情感状态，根据确定的所述患者当前的情感状态，可以通过行为交互模块13、语音交互模块14调节患者当前的情感状态；其中，患者的面部表情对应三种情感状态(积极情感状态、消极情感状态、中性情感状态)。
在前述下肢畸形矫正术后康复的人工心理辅导装置的具体实施方式中，进一步地，所述行为交互模块13包括：颈部运动单元及机械臂运动单元；
所述颈部运动单元，用于控制所述装置的颈部进行左、右、上、下移动，与所述患者进行行为交互，还用于为所述头部图像采集单元及所述颈部图像采集单元提供拍摄角度；
所述机械臂运动单元，用于实现仿人手臂动作。
本实施例中，所述行为交互模块13主要用于根据所述主控制器模块12发出的指令做出各种交互动作，以调节患者当前的情感状态，其中，所述交互动作包括：拥抱(双臂张开、头部端正)、疑问(右臂摸头、头部端正)、低头、仰头、招手等等一系列动作，在实际应用中，可根据实际场景进行交互，本实施例不作限定。
本实施例中，所述行为交互模块13包括：颈部运动单元及机械臂运动单元，所述颈部运动单元用于控制所述装置的颈部进行左右和上下移动，以实现所述装置的左右转头和抬头低头动作；所述机械臂运动单元可实现仿人手臂动作；其中，所述颈部运动单元包含：两个180o舵机，因此，所述颈部运动单元也可以称为二自由度颈部运动单元；所述机械臂运动单元包含：在肩部、肘部、腕部安装的三个180o舵机，因此，所述机械臂运动单元也可以称为三自由度机械臂运动单元。
本实施例中，所述主控制模块可以通过串口控制所述颈部运动单元，所述颈部运动单元一方面可以实现所述装置与所述患者进行行为交互，另一方面可以为采集室内图像、人脸图像、面部表情图像提供最佳拍摄角度。
本实施例中，所述语音交互模块14主要用于根据所述主控制器模块12发出的指令与患者进行语音交互，以调节患者情感状态；其中，所述语音交互包括：语音识别和语音合成；其中，所述语音识别包括：语音控制术后心理辅导装置、与患者进行对话交流等功能；所述语音合成包括：背唐诗、讲笑话、播放音乐、大笑、哭等功能，在实际应用中，可根据实际场景进行语音交互，本实施例不作限定；所述语音交互模块14包括：控制器单元、语音线路输入单元、功放单元、麦克风单元和喇叭单元。
本实施例中，所述语音交互模块14可以采用URTA接口方式与所述主控制模板进行通信，具体地，所述主控制模板将待传输的命令和数据以“帧”的方式封装与所述语音交互模块14进行通信。
本实施例中，如图6所示，所述头部图像采集单元采集的室内图像及人脸图像用于患者位置跟踪；所述颈部图像采集单元采集的面部表情图像用于获取患者当前的情感状态；所述麦克单元用于人机语音交互，实现患者的语音识别功能；所述喇叭单元和行为交互模块13、语音交互模块14等情感调节措施主要实现语音输出和动作输出，以调节患者当前的情感状态。例如，当通过面部表情识别分析得知患者为中性情感状态时，根据预先存储的患者的性格特点和隐马尔科夫情感状态转移分析得到其下一步最可能转向的情感状态为消极情感状态，此时可以采取智能措施，例如，讲笑话同时做拥抱的姿势以调节患者的情感状态，使其向积极情感状态转移，当一次调节过程完毕后进入下一次采集-判断-调节循环。
在前述下肢畸形矫正术后康复的人工心理辅导装置的具体实施方式中，进一步地，所述机动模块包括：主-从轮式移动底盘和超声波传感器；
所述主-从轮式移动底盘，用于控制所述装置进行移动；
所述超声波传感器，用于检测所述装置的周围是否有障碍物。
本实施例中，所述机动模块包括：采用主-从轮式移动底盘及超声波传感器；其中，所述主-从轮式移动底盘包括：2个主动轮和1个从动轮；所述2个主动轮分布在所述主-从轮式移动底盘的两侧，用于控制所述装置进行前、后、左、右移动，所述从动轮位于底盘中所述主-从轮式移动底盘的后方，用于支撑所述主-从轮式移动底盘，辅助所述装置灵活移动。具体的，所述主控制模块通过串口控制所述主-从轮式移动底盘，进而控制所述装置进行移动。所述超声波传感器用于检测所述装置的周围是否有障碍物，避免所述装置碰撞患者及其他障碍物，所述超声波传感器位于所述装置外壳底部四周，利用所述超声波传感器自身发出的超声波与遇到障碍物反射回来的超声波的时间差与声速，计算所述装置与障碍物之间的距离，使所述装置能够自动避让障碍物(包括：患者)，避免碰撞障碍物。
本实施例中，所述机动模块采用主-从轮式底盘和超声波传感器，增加了所述装置在跟踪患者过程中的灵活性和稳定性，实现了跟踪功能的同时还能自动避让障碍物。
在前述下肢畸形矫正术后康复的人工心理辅导装置的具体实施方式中，进一步地，所述装置还包括：用于表示所述患者当前的情感状态的LED灯控制模块，所述LED灯控制模块包括：两个眼部LED灯、两个耳部LED灯及一个嘴部LED灯；
所述主控制器模块12，用于根据确定的所述患者当前的情感状态，控制相应的LED灯的亮灭来模拟所述患者当前的情感状态；其中，所述LED灯的亮灭与情感状态之间的映射关系包括：
当所述两个眼部LED灯、两个耳部LED灯、一个嘴部LED灯都亮的时候，表示为积极情感状态；
当所述两个眼部LED灯亮，同时所述两个耳部LED灯和一个嘴部LED灯灭的时候，表示为中性情感状态；
当所述两个眼部LED灯、两个耳部LED灯灭，同时所述一个嘴部LED灯亮的时候，表示为消极情感状态。
本实施例中，所述LED灯控制模块用于表示所述患者当前的情感状态，所述LED灯控制模块包含：两个眼部LED灯，两个耳部LED灯和一个嘴部LED灯，其中，所述LED灯与情感状态之间的映射关系为：
积极情感状态：两个眼部LED灯亮，两个耳部LED灯亮，一个嘴部LED灯亮；
中性情感状态：两个眼部LED灯亮，两个耳部LED灯灭，一个嘴部LED灯灭；
消极情感状态：两个眼部LED灯灭，两个耳部LED灯灭，一个嘴部LED灯亮。
本实施例中，所述主控制器模块12不仅可以通过指令控制所述语音交互模块14和行为交互模块13与患者进行交互，以调节患者当前的情感状态；还可以根据患者当前的情感状态，发送指令控制所述LED灯控制模块中相应LED灯的亮灭模拟患者当前的情感状态，同时还可以在腹部显示屏中显示患者当前的情感状态对应的卡通表情图像；也就是说，可以通过LED灯、语音交互以及行为交互的协同作用完成患者情感状态的调节，其中，所述指令基于TCP\IP通信协议进行传输，采用Socket通信技术。
本实施例中，例如，首先通过图像采集模块11采集的患者的面部表情图像判别所述患者是否处于消极情感状态，若是，则所述主控制器模块12可以控制眼灯，耳灯，嘴灯以及讲笑话等与所述患者进行交互，之后通过再次判断图像采集模块11采集传回的所述患者的面部表情图片，判断患者是否达到了期望的情感状态，若是，则交互结束；若否，则循环进入下一次判断调节。
在前述下肢畸形矫正术后康复的人工心理辅导装置的具体实施方式中，进一步地，所述装置还包括：腹部显示屏；
所述腹部显示屏，用于实时显示所述患者所在室内的室内图像、所述患者的面部表情图像、面部表情分类结果、所述患者当前的情感状态、与所述患者当前的情感状态相对应的卡通表情图像及剩余电量。
本实施例中，所述装置还包括：腹部显示屏；所述腹部显示屏位于所述装置的腹部，所述腹部显示屏可以是触摸式显示屏；所述腹部显示屏主要用于实时显示所述患者所在室内的室内图像、所述患者的面部表情图像、面部表情分类结果、所述患者当前的情感状态、与所述患者当前的情感状态相对应的卡通表情图像及剩余电量。
本实施例中，所述装置还包括：电源模块，所述电源模块用于为整个装置进行供电，所述电源模块的输出电压为5V。所述电源模块直接供电对象包括：主控制器模块12、图像采集模块11及无线发送模块，所述舵机、LED灯、语音交互模块14、腹部显示屏等均由主控板供电。所述电源模块能够提供稳定电压，并有过压保护装置。为确保调试顺利，还预留了一个可调电压接口，电压调节范围为3.3V-9V，为今后设计和改进提供便利。
本实施例中，所述电源模块具有过压保护、电流检测及电量检测功能，通过采样电阻获得两端电压进而获得电流检测，对检测到的电流进行处理获得剩余电量，并在所述腹部显示屏上进行显示，当电量低于15％时触发所述装置中的蜂鸣器报警。
本实施例中，所述图像采集模块11、无线发送模块、主控制器模块12、机动模块、行为交互模块13、语音交互模块14、LED灯控制模块、腹部显示屏、电源模块作为所述装置的基本硬件，为人机交互提供基本的硬件支持。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种下肢畸形矫正术后康复的人工心理辅导装置，其特征在于，包括：图像采集模块、主控制器模块、行为交互模块及语音交互模块；
所述图像采集模块，用于采集患者的面部表情图像，并将采集的所述面部表情图像上传至所述主控制器模块；
所述主控制器模块，用于依据接收到的所述面部表情图像，确定所述患者当前的情感状态，若所述患者当前的情感状态与期望的情感状态不一致，则依据所述患者当前的情感状态，控制所述语音交互模块和所述行为交互模块分别与所述患者进行行为交互和语音交互，直到患者的情感状态达到期望的情感状态。
2.根据权利要求1所述的下肢畸形矫正术后康复的人工心理辅导装置，其特征在于，所述装置还包括：无线发送模块；所述无线发送模块包括：头部无线发送单元和颈部无线发送单元；
所述图像采集模块包括：头部图像采集单元和颈部图像采集单元；
所述头部图像采集单元，用于采集所述患者所在室内的室内图像及所述患者的人脸图像，并将采集的所述室内图像及所述人脸图像通过所述头部无线发送单元发送至所述主控制器模块；
所述颈部图像采集单元，用于采集所述患者的面部表情图像，并将采集的所述面部表情图像通过所述颈部无线发送单元发送至所述主控制器模块。
3.根据权利要求2所述的下肢畸形矫正术后康复的人工心理辅导装置，其特征在于，所述装置还包括：用于控制所述装置进行移动的机动模块；
所述主控制器模块，用于根据所述头部图像采集单元采集的室内图像，基于帧差法获取所述患者在室内的粗略位置，依据所述患者在室内的粗略位置，通过所述机动模块控制所述装置进行移动，当所述装置距离所述患者的距离小于预定阈值时，根据所述头部图像采集单元采集的所述患者的人脸图像，基于Haar特征进行人脸检测，依据人脸检测结果确定所述患者脸部所处的位置，并通过所述机动模块控制所述装置向所述患者脸部所处的位置进行移动。
4.根据权利要求2所述的下肢畸形矫正术后康复的人工心理辅导装置，其特征在于，所述主控制器模块，用于根据所述颈部图像采集单元采集的所述患者的面部表情图像，确定所述患者当前的情感状态，若所述患者当前的情感状态与期望的情感状态不一致，则依据所述患者当前的情感状态，基于隐马尔科夫模型预测所述患者下一步最可能转向的情感状态，根据预测的所述患者下一步最可能转向的情感状态，控制所述语音交互模块和所述行为交互模块分别与所述患者进行行为交互和语音交互，直到患者的情感状态达到期望的情感状态。
5.根据权利要求4所述的下肢畸形矫正术后康复的人工心理辅导装置，其特征在于，所述主控制器模块，用于根据所述颈部图像采集单元采集的所述患者的面部表情图像，采用GLBP算法识别人脸表情特征，再经过贝叶斯网络对所述患者的面部表情进行表情分类，并依据表情类别与情感状态类别之间的映射关系，得到所述患者当前的情感状态；其中，所述情感状态类别包括：积极情感状态、中性情感状态及消极情感状态。
6.根据权利要求2所述的下肢畸形矫正术后康复的人工心理辅导装置，其特征在于，所述主控制器模块包括：第一无线接收单元及第二无线接收单元；所述第一无线接收单元及第二无线接收单分别接收所述头部无线发送单元及颈部无线发送单元发送的图像。
7.根据权利要求2所述的下肢畸形矫正术后康复的人工心理辅导装置，其特征在于，所述行为交互模块包括：颈部运动单元及机械臂运动单元；
所述颈部运动单元，用于控制所述装置的颈部进行左、右、上、下移动，与所述患者进行行为交互，还用于为所述头部图像采集单元及所述颈部图像采集单元提供拍摄角度；
所述机械臂运动单元，用于实现仿人手臂动作。
8.根据权利要求3所述的下肢畸形矫正术后康复的人工心理辅导装置，其特征在于，所述机动模块包括：主-从轮式移动底盘和超声波传感器；
所述主-从轮式移动底盘，用于控制所述装置进行移动；
所述超声波传感器，用于检测所述装置的周围是否有障碍物。
9.根据权利要求1所述的下肢畸形矫正术后康复的人工心理辅导装置，其特征在于，所述装置还包括：用于表示所述患者当前的情感状态的LED灯控制模块，所述LED灯控制模块包括：两个眼部LED灯、两个耳部LED灯及一个嘴部LED灯；
所述主控制器模块，用于根据确定的所述患者当前的情感状态，控制相应的LED灯的亮灭来模拟所述患者当前的情感状态；其中，所述LED灯的亮灭与情感状态之间的映射关系包括：
当所述两个眼部LED灯、两个耳部LED灯、一个嘴部LED灯都亮的时候，表示为积极情感状态；
当所述两个眼部LED灯亮，同时所述两个耳部LED灯和一个嘴部LED灯灭的时候，表示为中性情感状态；
当所述两个眼部LED灯、两个耳部LED灯灭，同时所述一个嘴部LED灯亮的时候，表示为消极情感状态。
10.根据权利要求1所述的下肢畸形矫正术后康复的人工心理辅导装置，其特征在于，所述装置还包括：腹部显示屏；
所述腹部显示屏，用于实时显示所述患者所在室内的室内图像、所述患者的面部表情图像、面部表情分类结果、所述患者当前的情感状态、与所述患者当前的情感状态相对应的卡通表情图像及剩余电量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610565132.8A CN106214163B (zh) | 2016-07-18 | 2016-07-18 | 一种下肢畸形矫正术后康复的人工心理辅导装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610565132.8A CN106214163B (zh) | 2016-07-18 | 2016-07-18 | 一种下肢畸形矫正术后康复的人工心理辅导装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106214163A true CN106214163A (zh) | 2016-12-14 |
| CN106214163B CN106214163B (zh) | 2019-12-13 |
Family
ID=57519293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610565132.8A Expired - Fee Related CN106214163B (zh) | 2016-07-18 | 2016-07-18 | 一种下肢畸形矫正术后康复的人工心理辅导装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106214163B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107308638A (zh) * | 2017-06-06 | 2017-11-03 | 中国地质大学（武汉） | 一种虚拟现实交互的游戏型上肢康复训练系统及方法 |
| WO2018153359A1 (zh) * | 2017-02-27 | 2018-08-30 | 华为技术有限公司 | 预测情感状态的方法和机器人 |
| CN113305856A (zh) * | 2021-05-25 | 2021-08-27 | 中山大学 | 一种智能识别表情的陪伴型机器人 |
| US11445956B2 (en) * | 2018-04-05 | 2022-09-20 | George Mason University | Systems and methods for biobehavioral-regulation treatments |
| CN117275676A (zh) * | 2023-11-21 | 2023-12-22 | 深圳市健怡康医疗器械科技有限公司 | 一种神经内科监护安全隐患分析方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101692261A (zh) * | 2009-09-02 | 2010-04-07 | 北京科技大学 | 一种运用于儿童用户玩伴机器人的个性化情感模型及其应用方法 |
| CN103246879A (zh) * | 2013-05-13 | 2013-08-14 | 苏州福丰科技有限公司 | 一种基于表情识别的智能机器人系统 |
| CN103531207A (zh) * | 2013-10-15 | 2014-01-22 | 中国科学院自动化研究所 | 一种融合长跨度情感历史的语音情感识别方法 |
| CN103853071A (zh) * | 2014-01-20 | 2014-06-11 | 南京升泰元机器人科技有限公司 | 基于生物信号的人机面部表情交互系统 |
| CN103902975A (zh) * | 2014-03-28 | 2014-07-02 | 北京科技大学 | 一种基于平衡型Vector Boosting算法的人眼状态检测方法 |
| CN104102346A (zh) * | 2014-07-01 | 2014-10-15 | 华中科技大学 | 一种家用信息采集和用户情感识别设备及其工作方法 |
| CN104800950A (zh) * | 2015-04-22 | 2015-07-29 | 中国科学院自动化研究所 | 自闭症儿童辅助机器人及系统 |
| CN104835182A (zh) * | 2015-06-03 | 2015-08-12 | 上海建炜信息技术有限公司 | 摄像机上实现动态目标实时跟踪的方法 |
| CN105760826A (zh) * | 2016-02-03 | 2016-07-13 | 歌尔声学股份有限公司 | 一种人脸跟踪方法、装置和智能终端 |
-
2016
- 2016-07-18 CN CN201610565132.8A patent/CN106214163B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101692261A (zh) * | 2009-09-02 | 2010-04-07 | 北京科技大学 | 一种运用于儿童用户玩伴机器人的个性化情感模型及其应用方法 |
| CN103246879A (zh) * | 2013-05-13 | 2013-08-14 | 苏州福丰科技有限公司 | 一种基于表情识别的智能机器人系统 |
| CN103531207A (zh) * | 2013-10-15 | 2014-01-22 | 中国科学院自动化研究所 | 一种融合长跨度情感历史的语音情感识别方法 |
| CN103853071A (zh) * | 2014-01-20 | 2014-06-11 | 南京升泰元机器人科技有限公司 | 基于生物信号的人机面部表情交互系统 |
| CN103902975A (zh) * | 2014-03-28 | 2014-07-02 | 北京科技大学 | 一种基于平衡型Vector Boosting算法的人眼状态检测方法 |
| CN104102346A (zh) * | 2014-07-01 | 2014-10-15 | 华中科技大学 | 一种家用信息采集和用户情感识别设备及其工作方法 |
| CN104800950A (zh) * | 2015-04-22 | 2015-07-29 | 中国科学院自动化研究所 | 自闭症儿童辅助机器人及系统 |
| CN104835182A (zh) * | 2015-06-03 | 2015-08-12 | 上海建炜信息技术有限公司 | 摄像机上实现动态目标实时跟踪的方法 |
| CN105760826A (zh) * | 2016-02-03 | 2016-07-13 | 歌尔声学股份有限公司 | 一种人脸跟踪方法、装置和智能终端 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018153359A1 (zh) * | 2017-02-27 | 2018-08-30 | 华为技术有限公司 | 预测情感状态的方法和机器人 |
| US11670324B2 (en) | 2017-02-27 | 2023-06-06 | Huawei Technologies Co., Ltd. | Method for predicting emotion status and robot |
| CN107308638A (zh) * | 2017-06-06 | 2017-11-03 | 中国地质大学（武汉） | 一种虚拟现实交互的游戏型上肢康复训练系统及方法 |
| CN107308638B (zh) * | 2017-06-06 | 2019-09-17 | 中国地质大学（武汉） | 一种虚拟现实交互的游戏型上肢康复训练系统及方法 |
| US11445956B2 (en) * | 2018-04-05 | 2022-09-20 | George Mason University | Systems and methods for biobehavioral-regulation treatments |
| CN113305856A (zh) * | 2021-05-25 | 2021-08-27 | 中山大学 | 一种智能识别表情的陪伴型机器人 |
| CN117275676A (zh) * | 2023-11-21 | 2023-12-22 | 深圳市健怡康医疗器械科技有限公司 | 一种神经内科监护安全隐患分析方法及系统 |
| CN117275676B (zh) * | 2023-11-21 | 2024-02-09 | 深圳市健怡康医疗器械科技有限公司 | 一种神经内科监护安全隐患分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106214163B (zh) | 2019-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106214163A (zh) | 一种下肢畸形矫正术后康复的人工心理辅导装置 | |
| US20220331028A1 (en) | System for Capturing Movement Patterns and/or Vital Signs of a Person | |
| Paulo et al. | ISR-AIWALKER: Robotic walker for intuitive and safe mobility assistance and gait analysis | |
| CN109571513B (zh) | 一种沉浸式移动抓取服务机器人系统 | |
| US20130338525A1 (en) | Mobile Human Interface Robot | |
| CN102309366B (zh) | 用眼动信号控制上假肢运动的控制系统和控制方法 | |
| CN110840666B (zh) | 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法 | |
| CN110666791B (zh) | 一种基于深度学习的rgbd机器人看护系统及方法 | |
| TW200933538A (en) | Nursing system | |
| CN109605363A (zh) | 机器人语音操控系统及方法 | |
| CN107038844A (zh) | 一种看护机器人 | |
| Scheidig et al. | May I keep an eye on your training? Gait assessment assisted by a mobile robot | |
| Jafar et al. | Eye controlled wheelchair using transfer learning | |
| CN108681340A (zh) | 一种短波雷达智能跟随器及智能跟随方法 | |
| JP2007156689A (ja) | 光源位置検出装置、これを用いた顔認識装置及び自走式ロボット | |
| CN113903052A (zh) | 基于图像处理和力学分析的室内人体碰撞警报方法及装置 | |
| CN109948672A (zh) | 一种轮椅控制方法及系统 | |
| CN117532609A (zh) | 融合脑肌电与单目视觉的仿人机器人实时控制系统及方法 | |
| CN112617810A (zh) | 一种抑制上肢肩肘康复代偿的虚拟场景参数自适应方法 | |
| Jin et al. | Human-robot interaction for assisted object grasping by a wearable robotic object manipulation aid for the blind | |
| Desai et al. | Controlling a wheelchair by gesture movements and wearable technology | |
| Paulo et al. | An innovative robotic walker for mobility assistance and lower limbs rehabilitation | |
| CN113100755B (zh) | 一种基于视觉追踪控制的肢体康复训练与评估系统 | |
| CN206379066U (zh) | 聋哑人与人的智能信息交流装置 | |
| WO2018090109A1 (pt) | Método de análise facial para controle de dispositivos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191213 |