CN108888279A - 一种具备情感交互功能的运动康复训练装置 - Google Patents

一种具备情感交互功能的运动康复训练装置 Download PDF

Info

Publication number
CN108888279A
CN108888279A CN201810502598.2A CN201810502598A CN108888279A CN 108888279 A CN108888279 A CN 108888279A CN 201810502598 A CN201810502598 A CN 201810502598A CN 108888279 A CN108888279 A CN 108888279A
Authority
CN
China
Prior art keywords
expression
personnel
training device
affective
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810502598.2A
Other languages
English (en)
Inventor
钟建明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Innovation Import & Export Trading Co Ltd
Original Assignee
Shenzhen Innovation Import & Export Trading Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Innovation Import & Export Trading Co Ltd filed Critical Shenzhen Innovation Import & Export Trading Co Ltd
Priority to CN201810502598.2A priority Critical patent/CN108888279A/zh
Publication of CN108888279A publication Critical patent/CN108888279A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Nursing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明提供了一种具备情感交互功能的运动康复训练装置，包括脑部监测装置、运动监测装置、显示装置和互动装置，所述脑部监测装置用于对人员的大脑活动进行监测，得到大脑活动监测结果，所述运动监测装置用于对人员伤患部位的运动状态进行监测，得到运动状态监测结果，所述显示装置用于显示所述大脑活动监测结果和运动状态监测结果，所述互动装置用于人员根据显示的大脑活动监测结果和运动状态监测结果同训练装置进行情感互动。本发明的有益效果为：提供了一种具备情感交互功能的运动康复训练装置，满足了人员的运动康复和情感体验。

Description

一种具备情感交互功能的运动康复训练装置
技术领域
本发明涉及运动康复技术领域，具体涉及一种具备情感交互功能的运动康复训练装置。
背景技术
伴随着科技革命，人类社会逐渐从蒸汽时代，过渡到电力时代，发展到目前的信息时代，生产力得到极大的发展，从原始部落式的小聚居，到农庄、城镇乃至都市的大聚集，人员的生活水平和生活方式也得到翻天覆地的提升。
随着人们生活水平的提高，人们开始进行关注健康的生活方式，开始不断增加运动量，对于运动康复的需求也越来越大，现有的运动康复训练装置存在功能单一、用户体验差等问题。
发明内容
针对上述问题，本发明旨在提供一种具备情感交互功能的运动康复训练装置。
本发明的目的采用以下技术方案来实现：
提供了一种具备情感交互功能的运动康复训练装置，包括脑部监测装置、运动监测装置、显示装置和互动装置，所述脑部监测装置用于对人员的大脑活动进行监测，得到大脑活动监测结果，所述运动监测装置用于对人员伤患部位的运动状态进行监测，得到运动状态监测结果，所述显示装置用于显示所述大脑活动监测结果和运动状态监测结果，所述互动装置用于人员根据显示的大脑活动监测结果和运动状态监测结果同训练装置进行情感互动。
本发明的有益效果为：提供了一种具备情感交互功能的运动康复训练装置，满足了人员的运动康复和情感体验。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图；
附图标记：
脑部监测装置1、运动监测装置2、显示装置3、互动装置4。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种具备情感交互功能的运动康复训练装置，包括脑部监测装置1、运动监测装置2、显示装置3和互动装置4，所述脑部监测装置1用于对人员的大脑活动进行监测，得到大脑活动监测结果，所述运动监测装置2用于对人员伤患部位的运动状态进行监测，得到运动状态监测结果，所述显示装置3用于显示所述大脑活动监测结果和运动状态监测结果，所述互动装置4用于人员根据显示的大脑活动监测结果和运动状态监测结果同训练装置进行情感互动。
本实施例提供了一种具备情感交互功能的运动康复训练装置，满足了人员的运动康复和情感体验。
优选的，所述互动装置4包括一次处理子系统、二次处理子系统和三次处理子系统，所述一次处理子系统用于获取人员的表情图像和语音信息，所述二次处理子系统用于根据人员的表情图像与人员进行表情交互，所述三次处理子系统用于根据人员的语音信息与人员进行语音交互。
本优选实施例互动装置通过表情和语音交互，实现了训练装置和人员直观、准确的情感交互。
优选的，所述二次处理子系统包括一次表情处理模块、二次表情处理模块和三次表情处理模块，所述一次表情处理模块用于确定表情模型，所述二次表情处理模块用于确定人员的表情类别，所述三次表情处理模块用于训练装置做出与人员相同的表情；
所述一次表情处理模块用于确定表情模型：将连续的二维空间模型作为表情模型，对于基本表情xi，i∈{1,2,…,n}，n表示基本表情的数目，在二维空间中确定基本表情的位置，在二维空间中，任意表情e到基本表情xi的距离体现了表情e和基本表情xi的相似程度，采用下式计算表情模型中任意表情e和基本表情xi的第一相似度因子：
上述式子中，RU1(e,xi)表示表情e和基本表情xi的第一相似度因子，d(e,xi)表示表情e和基本表情xi在表情模型中的距离；
采用下式计算表情模型中任意表情e和基本表情xi的第二相似度因子：
上述式子中，RU2(e,xi)表示表情e和基本表情xi的第二相似度因子；
表情e和基本表情xi的相似度因子根据第一相似度因子和第二相似度因子确定：RU(e,xi)＝1+3[RU1(e,xi)]2+[RU2(e,xi)]2；
上述式子中，RU(e,xi)表示表情e和基本表情xi的相似度因子；相似度因子越高，表示该表情与基本表情的相似性越高。
所述二次表情处理模块用于确定人员的表情类别：计算人员表情与各基本表情的相似度因子，把相似度因子最大的基本表情作为人员的表情类别。
本优选实施例二次处理子系统通过对人员表情进行识别，实现了人机表情情感交互；通过相似度因子确定人员表情的基本表情类别，便于训练装置快速反应，与人员进行准确的表情交互。
优选的，所述三次处理子系统包括一次语音处理模块、二次语音处理模块和三次语音处理模块，所述一次语音处理模块用于对人员的语音信息进行识别，所述二次语音处理模块根据语音信息判断人员的情感状态，所述三次语音处理模块用于根据人员的语音信息和情感状态合成情感语音进行输出；
所述三次语音处理模块包括第一特征确定单元、第二特征确定单元、合成单元和输出单元，所述第一特征确定单元用于确定训练装置语音的第一情感特征，所述第二特征确定单元用于确定训练装置语音的第二情感特征，所述合成单元用于根据第一情感特征和第二情感特征合成情感语音，所述输出单元用于训练装置输出所述情感语音；
所述第一特征确定单元用于确定训练装置语音的第一情感特征：将音调、语速和响度作为训练装置语音的情感影响因素，确定训练装置语音的第一情感特征向量DT1：DT1＝[RX1,RX2,RX3]，其中，RX1表示音调，RX1∈(0,5),RX1越大，音调越高，RX2表示语速，RX2∈(0,5),RX2越大，语速越快，RX3表示响度，RX3∈(0,5),RX3越大，响度越高；所述第二特征确定单元用于确定训练装置语音的第二情感特征，具体为：将性别、年龄作为训练装置语音的情感影响因素，确定训练装置语音的第二情感特征向量DT2：DT2＝[RX4,RX5]，其中，RX4表示训练装置仿人性别,RX4＝0，表示男声，RX4＝1,表示女声，RX4＝2，表示中性声音，RX5表示训练装置仿人年龄，RX5＝y，y表示周岁年龄；
所述合成单元用于根据第一情感特征和第二情感特征合成情感语音：根据训练装置语音的第一情感向量和第二情感向量确定语音情感特征向量DT：DT＝[RX1,RX2,RX3,RX4,RX5]，人为设定基本表情的第一情感向量参数，根据表情识别结果确定训练装置情感语音的RX1,RX2,RX3，通过人员性别和年龄确定训练装置情感语音的RX4,RX5，实现训练装置情感语音输出。
本优选实施例三次处理子系统通过对人员语音信息和情感状态进行识别，实现了人机语音情感交互；三次语音处理模块通过确定训练装置语音的第一情感特征和第二情感特征，实现了情感语音的合成，通过设定人员基本表情的语音情感特征参数，实现了训练装置语音情感的合成。
采用本发明具备情感交互功能的运动康复训练装置1进行康复训练，选取5个人员进行实验，分别为人员1、人员2、人员3、人员4、人员5，对康复时间和人员满意度进行统计，同现有训练装置相比，产生的有益效果如下表所示：
康复时间缩短 人员满意度提高
人员1 29％ 27％
人员2 27％ 26％
人员3 26％ 26％
人员4 25％ 24％
人员5 24％ 22％
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (7)

1.一种具备情感交互功能的运动康复训练装置，其特征在于，包括脑部监测装置、运动监测装置、显示装置和互动装置，所述脑部监测装置用于对人员的大脑活动进行监测，得到大脑活动监测结果，所述运动监测装置用于对人员伤患部位的运动状态进行监测，得到运动状态监测结果，所述显示装置用于显示所述大脑活动监测结果和运动状态监测结果，所述互动装置用于人员根据显示的大脑活动监测结果和运动状态监测结果同训练装置进行情感互动。
2.根据权利要求1所述的具备情感交互功能的运动康复训练装置，其特征在于，所述互动装置包括一次处理子系统、二次处理子系统和三次处理子系统，所述一次处理子系统用于获取人员的表情图像和语音信息，所述二次处理子系统用于根据人员的表情图像与人员进行表情交互，所述三次处理子系统用于根据人员的语音信息与人员进行语音交互。
3.根据权利要求2所述的具备情感交互功能的运动康复训练装置，其特征在于，所述二次处理子系统包括一次表情处理模块、二次表情处理模块和三次表情处理模块，所述一次表情处理模块用于确定表情模型，所述二次表情处理模块用于确定人员的表情类别，所述三次表情处理模块用于训练装置做出与人员相同的表情；
所述一次表情处理模块用于确定表情模型：将连续的二维空间模型作为表情模型，对于基本表情xi，i∈{1,2,…,n}，n表示基本表情的数目，在二维空间中确定基本表情的位置，在二维空间中，任意表情e到基本表情xi的距离体现了表情e和基本表情xi的相似程度，采用下式计算表情模型中任意表情e和基本表情xi的第一相似度因子：
上述式子中，RU1(e,xi)表示表情e和基本表情xi的第一相似度因子，d(e,xi)表示表情e和基本表情xi在表情模型中的距离；
采用下式计算表情模型中任意表情e和基本表情xi的第二相似度因子：
上述式子中，RU2(e,xi)表示表情e和基本表情xi的第二相似度因子；
表情e和基本表情xi的相似度因子根据第一相似度因子和第二相似度因子确定：RU(e,xi)＝1+3[RU1(e,xi)]2+[RU2(e,xi)]2；
上述式子中，RU(e,xi)表示表情e和基本表情xi的相似度因子；相似度因子越高，表示该表情与基本表情的相似性越高；
所述二次表情处理模块用于确定人员的表情类别：计算人员表情与各基本表情的相似度因子，把相似度因子最大的基本表情作为人员的表情类别。
4.根据权利要求3所述的具备情感交互功能的运动康复训练装置，其特征在于，所述三次处理子系统包括一次语音处理模块、二次语音处理模块和三次语音处理模块，所述一次语音处理模块用于对人员的语音信息进行识别，所述二次语音处理模块根据语音信息判断人员的情感状态，所述三次语音处理模块用于根据人员的语音信息和情感状态合成情感语音进行输出。
5.根据权利要求4所述的具备情感交互功能的运动康复训练装置，其特征在于，所述三次语音处理模块包括第一特征确定单元、第二特征确定单元、合成单元和输出单元，所述第一特征确定单元用于确定训练装置语音的第一情感特征，所述第二特征确定单元用于确定训练装置语音的第二情感特征，所述合成单元用于根据第一情感特征和第二情感特征合成情感语音，所述输出单元用于训练装置输出所述情感语音。
6.根据权利要求5所述的具备情感交互功能的运动康复训练装置，其特征在于，所述第一特征确定单元用于确定训练装置语音的第一情感特征：将音调、语速和响度作为训练装置语音的情感影响因素，确定训练装置语音的第一情感特征向量DT1：DT1＝[RX1,RX2,RX3]，其中，RX1表示音调，RX1∈(0,5),RX1越大，音调越高，RX2表示语速，RX2∈(0,5),RX2越大，语速越快，RX3表示响度，RX3∈(0,5),RX3越大，响度越高；所述第二特征确定单元用于确定训练装置语音的第二情感特征，具体为：将性别、年龄作为训练装置语音的情感影响因素，确定训练装置语音的第二情感特征向量DT2：DT2＝[RX4,RX5]，其中，RX4表示训练装置仿人性别,RX4＝0，表示男声，RX4＝1,表示女声，RX4＝2，表示中性声音，RX5表示训练装置仿人年龄，RX5＝y，y表示周岁年龄。
7.根据权利要求6所述的具备情感交互功能的运动康复训练装置，其特征在于，所述合成单元用于根据第一情感特征和第二情感特征合成情感语音：根据训练装置语音的第一情感向量和第二情感向量确定语音情感特征向量DT：DT＝[RX1,RX2,RX3,RX4,RX5]，人为设定基本表情的第一情感向量参数，根据表情识别结果确定训练装置情感语音的RX1,RX2,RX3，通过人员性别和年龄确定训练装置情感语音的RX4,RX5，实现训练装置情感语音输出。
CN201810502598.2A 2018-05-23 2018-05-23 一种具备情感交互功能的运动康复训练装置 Withdrawn CN108888279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810502598.2A CN108888279A (zh) 2018-05-23 2018-05-23 一种具备情感交互功能的运动康复训练装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810502598.2A CN108888279A (zh) 2018-05-23 2018-05-23 一种具备情感交互功能的运动康复训练装置

Publications (1)

Publication Number Publication Date
CN108888279A true CN108888279A (zh) 2018-11-27

Family

ID=64343292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810502598.2A Withdrawn CN108888279A (zh) 2018-05-23 2018-05-23 一种具备情感交互功能的运动康复训练装置

Country Status (1)

Country Link
CN (1) CN108888279A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661569A (zh) * 2009-09-18 2010-03-03 北京科技大学 一种智能情感机器人多模态行为关联表达系统
CN101685634A (zh) * 2008-09-27 2010-03-31 上海盛淘智能科技有限公司 一种儿童语音情感识别方法
CN102880862A (zh) * 2012-09-10 2013-01-16 Tcl集团股份有限公司 一种人脸表情的识别方法及系统
CN103996029A (zh) * 2014-05-23 2014-08-20 安庆师范学院 表情相似度度量方法及装置
CN104287747A (zh) * 2014-10-24 2015-01-21 南京邮电大学 基于情绪感知的运动康复机器人交互控制方法
CN106845397A (zh) * 2017-01-18 2017-06-13 湘潭大学 一种基于相似度度量的人脸确认方法
CN106991172A (zh) * 2017-04-05 2017-07-28 安徽建筑大学 一种多模态情感交互数据库的建立方法
CN107961135A (zh) * 2016-10-19 2018-04-27 精工爱普生株式会社 康复训练系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685634A (zh) * 2008-09-27 2010-03-31 上海盛淘智能科技有限公司 一种儿童语音情感识别方法
CN101661569A (zh) * 2009-09-18 2010-03-03 北京科技大学 一种智能情感机器人多模态行为关联表达系统
CN102880862A (zh) * 2012-09-10 2013-01-16 Tcl集团股份有限公司 一种人脸表情的识别方法及系统
CN103996029A (zh) * 2014-05-23 2014-08-20 安庆师范学院 表情相似度度量方法及装置
CN104287747A (zh) * 2014-10-24 2015-01-21 南京邮电大学 基于情绪感知的运动康复机器人交互控制方法
CN107961135A (zh) * 2016-10-19 2018-04-27 精工爱普生株式会社 康复训练系统
CN106845397A (zh) * 2017-01-18 2017-06-13 湘潭大学 一种基于相似度度量的人脸确认方法
CN106991172A (zh) * 2017-04-05 2017-07-28 安徽建筑大学 一种多模态情感交互数据库的建立方法

Similar Documents

Publication Publication Date Title
Chen et al. Multi-modal dimensional emotion recognition using recurrent neural networks
US11185254B2 (en) Entrainment sonification techniques
Poeschl et al. Integration of spatial sound in immersive virtual environments an experimental study on effects of spatial sound on presence
Wang Physical education teaching in colleges and universities assisted by virtual reality technology based on artificial intelligence
CN110353675A (zh) 基于图片生成的脑电信号情感识别方法及装置
CN108836285A (zh) 人体疾病自主诊断模型和人工智能体检方法及系统和健康评估直观演示方法
CN111292834A (zh) 一种基于虚拟现实的注意力训练系统
Yadav et al. Virtual reality interfaces and population-specific models to mitigate public speaking anxiety
Quasim et al. RETRACTED ARTICLE: Emotion-based music recommendation and classification using machine learning with IoT Framework
Mao et al. M-sena: An integrated platform for multimodal sentiment analysis
Saarikallio et al. Dance moves reflect current affective state illustrative of approach–avoidance motivation.
Hirsch et al. Hands-free gesture control with a capacitive textile neckband
Amiriparian et al. Deepspectrumlite: A power-efficient transfer learning framework for embedded speech and audio processing from decentralized data
CN108052250A (zh) 基于多模态交互的虚拟偶像演绎数据处理方法及系统
CN112007255B (zh) 基于混合现实的心理治疗方法、装置、系统及服务器
CN110970114A (zh) 中医健康导引系统
Dubus et al. Sonification of physical quantities throughout history: a meta-study of previous mapping strategies
CN108888279A (zh) 一种具备情感交互功能的运动康复训练装置
An et al. Mental health detection from speech signal: A convolution neural networks approach
CN108320021A (zh) 机器人动作与表情确定方法、展示合成方法、装置
Lussu et al. The role of respiration audio in multimodal analysis of movement qualities
CN108762500A (zh) 一种智能机器人
Lin et al. Emotion visualization system based on physiological signals combined with the picture and scene
Li et al. RETRACTED: Research on image communication of urban film and television advertisement based on complex embedded system
CN115346160A (zh) 一种体育教学方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181127