CN110176284A - 一种基于虚拟现实的言语失用症康复训练方法 - Google Patents
一种基于虚拟现实的言语失用症康复训练方法 Download PDFInfo
- Publication number
- CN110176284A CN110176284A CN201910425523.3A CN201910425523A CN110176284A CN 110176284 A CN110176284 A CN 110176284A CN 201910425523 A CN201910425523 A CN 201910425523A CN 110176284 A CN110176284 A CN 110176284A
- Authority
- CN
- China
- Prior art keywords
- scene
- voice
- virtual
- phoneme
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 206010013976 Dyspraxia Diseases 0.000 title claims abstract description 19
- 238000011084 recovery Methods 0.000 title claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 25
- 230000001815 facial effect Effects 0.000 claims description 14
- 206010003062 Apraxia Diseases 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 108010001267 Protein Subunits Proteins 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 239000012467 final product Substances 0.000 claims 1
- 239000000047 product Substances 0.000 claims 1
- 230000001225 therapeutic effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010425 computer drawing Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 208000027765 speech disease Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
- G10L15/144—Training of HMMs
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Probability & Statistics with Applications (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于虚拟现实的言语失用症康复训练方法。本发明方法采用头显设备和计算机：头显设备包括内置有定位模块的头戴式显示器和手柄；计算机与头显设备连接，提供康复训练虚拟场景的画面。该方法包括：通过计算机将言语失用症康复训练画面传输到头显设备，使用者通过手柄与虚拟物品进行交互，学习虚拟场景中物品的发音；计算机将虚拟人嘴型画面传输到头显设备，使用语音在虚拟场景中与虚拟人进行交互，学习完成后进入训练模块虚拟场景；使用者用语音在虚拟场景中与虚拟物品进行交互，获得训练分数信息，计算机实时获取头戴式显示器、手柄的反馈信息。本发明方法减少了言语失用症康复训练的成本、提高了患者训练的积极性和治疗效果。
Description
技术领域
本发明涉及虚拟康复训练技术领域，具体涉及一种基于虚拟现实的言语失用症康复训练方法。
背景技术
言语失用是不能执行自主运动进行发音和言语的活动，而且这种异常是在缺乏或者不能用言语肌肉的麻痹、不协调或肌力减弱来解释的一种运动性言语障碍。这种疾病的主要特征就是患者在生活中失去了语言表达的能力，给患者的生活带来了很大的压力，同时也影响了患者的健康，因此言语失用患者的康复治疗显得尤为重要。传统的康复治疗方法通常是在医院由康复师制定康复计划，利用医疗康复器材进行被动式辅助性康复训练，其康复治疗过程单调、枯燥，用户难以产生兴趣，治疗效果也不尽人意。
近年来，随着虚拟现实技术的广泛应用，将虚拟现实技术引入语言康复训练中已成为研究热点。虚拟现实技术由软件提供多种训练场景，如同置身于游戏之中，在用户使用虚拟现实技术进行康复训练时，可以明显地感受到自己在动作技能、肌肉张力等方面的提高，使治疗过程充满乐趣，提高用户的乐观情绪。
发明内容
本发明的目的就是提供了一种基于虚拟现实的言语失用症康复训练方法，该方法使用先进的虚拟现实技术，减少康复训练的成本、增加康复训练的趣味性。
本发明方法采用的康复训练设备，包括：
头显设备，包括头戴式显示器、与所述头戴式显示器无线交互的手柄；所述头戴式显示器和手柄均内置有定位模块，所述的定位模块用于空间内同时追踪头戴式显示器与手柄的定位；
计算机，与所述头显设备连接；计算机为头显设备提供康复训练虚拟场景的画面，虚拟场景包括：言语失用康复室场景、学习虚拟人嘴型和发音场景、康复训练场景；
在言语失用康复室场景中，使用者通过与场景中虚拟物品的交互，学习场景中每个物品的读音；
在学习虚拟人嘴型和发音场景中，使用者跟随虚拟人的嘴型和发音，学习汉语拼音字母、字、词、句，如果检测到使用者读音正确，则会出现显示正确的提示界面；否则出现显示错误的提示界面；
在康复训练场景中，使用者与场景中展示的虚拟物品进行语音交互，如果计算机检测到读音与所示物品的读音相同，则会出现显示正确的提示界面；否则出现显示错误的提示界面，并且播放物品的正确读音。
该方法的具体包括：
1.计算机将言语失用症康复训练画面传输到头显设备，提供言语失用症康复训练虚拟场景，使用者用手柄在虚拟康复训练中与虚拟物品进行交互，学习虚拟场景中物品的发音，点击学习按钮进入学习模块虚拟场景；
2.计算机将虚拟人嘴型画面传输到头显设备，提供学习的虚拟场景，使用者用语音在虚拟场景中与虚拟人进行交互，学习完成后，点击训练按钮进入训练模块虚拟场景；
使用者用语音在虚拟场景中与虚拟人进行交互，采用音素识别器将输入的语音转换为音素输入；所述的音素为语言的最小可分单元，采用实时音素识别器将输入的语音实时转换为音素；具体方法如下：
在语音识别系统中，一段语音信号经过特征提取后得到一个特征序列O＝(o1,o2,…,oi)，假定该特征帧序列对应的一个音素串为W＝(ω1,ω2,…,ωn),那么连接语音识别的任务就是在语言L中找到与O对应的最可能音素串满足：
在基于隐马尔可夫模型语音识别中，使用Veterbi搜索算法，每处理一个特征序列即得到当前最佳的音素串,由式(1)得到t时刻的最佳音素串：
其中，ot为t时刻输入的特征帧，表示音素串的最后一个音素；由(s1)得到t+1时刻到t+N-1时刻的N-1个音素序列：
如果连续N个特征帧搜索到的最佳音素序列的最后一个音素都相同，设为并且与上一个已经识别输出的发音音素不同，那么将作为当前的发音音素输出，即如果t到t+N-1时刻得到的最佳音素序列满足：
则把当作当前正在发音的音素输出；
3.计算机将训练画面传输到头显设备，提供训练的虚拟场景，使用者用语音在虚拟场景中与虚拟物品进行交互，获得训练分数信息，计算机实时获取头戴式显示器、手柄的反馈信息；
采用动态视素来描述某一视素发音时口型从产生到消失的完整变化过程：每个视素的每一个面部动画参数都定义一个控制函数，同时引入了两个无声模型以及他们各自的控制函数；p表示视素s的某一个面部动画参数，p在s中的控制函数Dsp表示为：
其中：αsp表示控制函数的峰值，θsp(-)、θsp(+)是衰减系数，c是常数，τ表示当前时刻到控制函数中心时刻的距离τ＝ts0-t，ts0表示当前时刻；
两个无声模型分别表示无声到有声和有声到无声的口型转变；其中：
从无声到有声的控制函数为：
其中σ＝tl0-t，tl0表示左无声模型中心的时刻。
从有声到无声的控制函数为：
其中v＝tr0-t，tr0表示右无声模型中心的时刻。
任意时刻视素的动态参数由其静态值按照(s2)～(s4)表示的控制函数加权构成：
其中：T0p为自然状态下中参数p的静态值；Tsp为视素s中参数p的静态值。
本发明的康复训练方法，使用者只需要在电脑上安装本系统即可进行康复训练，减少了言语失用症康复训练的成本、提高了患者训练的积极性和治疗效果。本发明系统采用语音驱动虚拟人嘴型动画的算法，该方法能够输出视觉上具有高度真实感与唇音完美协调同步的虚拟人口型动画，从而使虚拟人说话更加逼真。
附图说明
图1为本发明方法的流程示意图；
图2为实时语音驱动的虚拟说话人系统流程图。
具体实施方式
一种基于虚拟现实的言语失用症康复训练方法，采用的康复训练设备包括：
头显设备，包括头戴式显示器、与所述头戴式显示器无线交互的手柄，所述头戴式显示器和手柄均内置有定位模块，定位模块能用于空间内同时追踪头戴式显示器与手柄的定位系统。该设备满足实现显示虚拟场景和手柄交互的功能的硬件要求。头戴设备可采用HTC Vive头显设备。
计算机，与所述头显设备连接。计算机为头显设备提供康复训练虚拟场景的画面。
本实施例利用unity3D引擎并配合HTC Vive虚拟头盔进行制作。使用HTC Vive手柄进行交互。场景中的模型是用3dsmax软件创建，该软件可以建立高精度的模型，精确模拟出中现实中的言语失用康复训练室、人的嘴型，使患者在虚拟场景中有种身临其境的感觉。
虚拟场景包括：言语失用康复室场景、学习虚拟人嘴型和发音场景、康复训练场景。
在言语失用康复室场景中，使用者可以通过与场景中虚拟物品的交互，学习场景中每个物品的读音。
在学习虚拟人嘴型和发音场景中，使用者跟随虚拟人的嘴型和发音，学习汉语拼音字母、字、词、句。使用者必须跟随虚拟人的嘴型和发音进行学习，如果检测到使用者读音正确，则会出现显示正确的提示界面；否则出现显示错误的提示界面。
在康复训练场景中，使用者与场景中展示的虚拟物品进行语音交互。如果计算机检测到读音与所示物品的读音相同，则会出现显示正确的提示界面；否则出现显示错误的提示界面，并且播放物品的正确读音。
如图1所示，该方法的具体是：
1.计算机将言语失用症康复训练画面传输到头显设备，提供言语失用症康复训练虚拟场景，使用者用手柄在虚拟康复训练中与虚拟物品进行交互，学习虚拟场景中物品的发音，点击学习按钮进入学习模块虚拟场景。
2.计算机将虚拟人嘴型画面传输到头显设备，提供学习的虚拟场景，使用者用语音在场景中与虚拟人进行交互，学习完后，点击训练按钮进入训练模块虚拟场景。
计算机将虚拟人画面传输到头显设备之前，通过语音驱动虚拟人嘴型，其具体动画方法包括主控模块、实时识别模块、合成模块、驱动模块。详细流程如图2所示。
(1)主控模块首先启动识别器，识别器收到指令检测是否有语音输入，即语音激活检测(voice activation detection，AVD)。
(2)当实时识别模块检测到有语音输入时，针对输入的语音进行语音识别处理，将语音转换为汉语文本，再对汉语文本进行分析，将汉字拆分为不同的汉语可视化音素，将识别结果发送到结果队列。
(3)当主控模块收到识别结果的信息，启动合成模块，合成模块检测队列状态，从中取出识别结果即音素，将其映射为对应视素后，利用动态视素生成算法合成面部动画参数(FAP，Facial Animation Parameter)序列，发送到驱动模块。
(4)驱动模块利用收到的面部动画参数序列，驱动头部模型得到相应的面部动画。
使用者用语音在场景中与虚拟人进行交互，采用音素识别器将输入的语音转换为音素输入。音素为语言的最小可分单元，为了实现实时语音驱动虚拟人嘴型的效果，采用实时音素识别器将输入的语音实时转换为音素；具体如下：
在语音识别系统中，一段语音信号经过特征提取后得到一个特征序列O＝(o1,o2,…,oi)，假定该特征帧序列对应的一个音素串为W＝(ω1,ω2,…,ωn),那么连接语音识别的任务就是在语言L中找到与O对应的最可能音素串满足：
在基于隐马尔可夫模型(HMM，Hidden Markov Model)语音识别中，使用Veterbi搜索算法，每处理一个特征序列就可以得到当前最佳的音素串,由式(s1)得到t时刻的最佳音素串：
其中，ot为t时刻输入的特征帧，表示音素串的最后一个音素。由(s1)得到t+1时刻到t+N-1时刻的N-1个音素序列：
为了实现实时面部动画效果，识别器需要随着语音的输入快速输出当前发音的音素。考虑到不可避免的识别错误，采用的语音输入方法是：如果连续N个特征帧搜索到的最佳音素序列的最后一个音素都相同，设为并且与上一个已经识别输出的发音音素不同，那么将作为当前的发音音素输出。即如果t到t+N-1时刻得到的最佳音素序列满足：则把当作当前正在发音的音素输出。
3.计算机将训练画面传输到头显设备，提供训练的虚拟场景，使用者用语音在虚拟场景中与虚拟物品进行交互，获得训练分数信息，计算机实时获取头戴式显示器、手柄的反馈信息。所述的反馈信息包括位置信息、图像信息、按键反馈信息。
由于发音过程是连续的、动态的，因此静态视素不能准确描述虚拟人发音的连续过程，采用动态视素来描述某一视素发音时口型从产生到消失的完整变化过程。
为了描述视素的动态过程，每个视素的每一个面部动画参数(FAP，FacialAnimation Parameter)都定义一个控制函数，同时引入了两个无声模型以及他们各自的控制函数。p表示视素s的某一个面部动画参数，那么p在s中的控制函数Dsp表示为：
其中：αsp表示控制函数的峰值，θsp(-)、θsp(+)是衰减系数，c是常数，τ表示当前时刻到控制函数中心时刻的距离τ＝ts0-t，ts0表示当前时刻。
两个无声模型分别表示无声到有声和有声到无声的口型转变。
从无声到有声(左无声模型)的控制函数为：
其中σ＝tl0-t，tl0表示左无声模型中心的时刻。
从有声到无声(右无声模型)的控制函数为：
其中v＝tr0-t，tr0表示右无声模型中心的时刻。
任意时刻视素的动态参数由它们的静态值按照(s2)～(s4)表示的控制函数加权构成：其中：T0p为自然状态下中参数p的静态值；Tsp为视素s中参数p的静态值。
Claims (4)
1.一种基于虚拟现实的言语失用症康复训练方法，该方法采用的康复训练设备包括：
头显设备，包括头戴式显示器、与所述头戴式显示器无线交互的手柄；所述头戴式显示器和手柄均内置有定位模块，所述的定位模块用于空间内同时追踪头戴式显示器与手柄的定位；
计算机，与所述头显设备连接；计算机为头显设备提供康复训练虚拟场景的画面；
其特征在于，该方法的具体包括：
(1).计算机将言语失用症康复训练画面传输到头显设备，提供言语失用症康复训练虚拟场景，使用者用手柄在虚拟康复训练中与虚拟物品进行交互，学习虚拟场景中物品的发音，点击学习按钮进入学习模块虚拟场景；
(2).计算机将虚拟人嘴型画面传输到头显设备，提供学习的虚拟场景，使用者用语音在虚拟场景中与虚拟人进行交互，学习完成后，点击训练按钮进入训练模块虚拟场景；
使用者用语音在虚拟场景中与虚拟人进行交互，采用音素识别器将输入的语音转换为音素输入；所述的音素为语言的最小可分单元，采用实时音素识别器将输入的语音实时转换为音素；具体方法如下：
在语音识别系统中，一段语音信号经过特征提取后得到一个特征序列O＝(o1,o2,…,oi)，假定该特征帧序列对应的一个音素串为W＝(ω1,ω2,…,ωn),那么连接语音识别的任务就是在语言L中找到与O对应的最可能音素串满足：
在基于隐马尔可夫模型语音识别中，使用Veterbi搜索算法，每处理一个特征序列即得到当前最佳的音素串,由式(1)得到t时刻的最佳音素串：
其中，ot为t时刻输入的特征帧，表示音素串的最后一个音素；由(s1)得到t+1时刻到t+N-1时刻的N-1个音素序列：
如果连续N个特征帧搜索到的最佳音素序列的最后一个音素都相同，设为并且与上一个已经识别输出的发音音素不同，那么将作为当前的发音音素输出，即如果t到t+N-1时刻得到的最佳音素序列满足：
则把当作当前正在发音的音素输出；
(3).计算机将训练画面传输到头显设备，提供训练的虚拟场景，使用者用语音在虚拟场景中与虚拟物品进行交互，获得训练分数信息，计算机实时获取头戴式显示器、手柄的反馈信息；
采用动态视素来描述某一视素发音时口型从产生到消失的完整变化过程：每个视素的每一个面部动画参数都定义一个控制函数，同时引入了两个无声模型以及他们各自的控制函数；p表示视素s的某一个面部动画参数，p在s中的控制函数Dsp表示为：
其中：αsp表示控制函数的峰值，θsp(-)、θsp(+)是衰减系数，c是常数，τ表示当前时刻到控制函数中心时刻的距离τ＝ts0-t，ts0表示当前时刻；
两个无声模型分别表示无声到有声和有声到无声的口型转变；其中：
从无声到有声的控制函数为：
其中σ＝tl0-t，tl0表示左无声模型中心的时刻；
从有声到无声的控制函数为：
其中v＝tr0-t，tr0表示右无声模型中心的时刻；
任意时刻视素的动态参数由其静态值按照(s2)～(s4)表示的控制函数加权构成：其中：T0p为自然状态下中参数p的静态值；Tsp为视素s中参数p的静态值。
2.如权利要求1所述的一种基于虚拟现实的言语失用症康复训练方法，其特征在于：计算机为头显设备提供的康复训练虚拟场景包括：言语失用康复室场景、学习虚拟人嘴型和发音场景、康复训练场景；
在言语失用康复室场景中，使用者通过与场景中虚拟物品的交互，学习场景中每个物品的读音；
在学习虚拟人嘴型和发音场景中，使用者跟随虚拟人的嘴型和发音，学习汉语拼音字母、字、词、句，如果检测到使用者读音正确，则会出现显示正确的提示界面；否则出现显示错误的提示界面；
在康复训练场景中，使用者与场景中展示的虚拟物品进行语音交互，如果计算机检测到读音与所示物品的读音相同，则会出现显示正确的提示界面；否则出现显示错误的提示界面，并且播放物品的正确读音。
3.如权利要求1所述的一种基于虚拟现实的言语失用症康复训练方法，其特征在于：
计算机将虚拟人画面传输到头显设备之前，通过语音驱动虚拟人嘴型，动画方法包括主控模块、实时识别模块、合成模块、驱动模块，具体是：
(a)主控模块首先启动识别器，识别器收到指令检测是否有语音输入，即语音激活检测；
(b)当实时识别模块检测到有语音输入时，针对输入的语音进行语音识别处理，将语音转换为汉语文本，再对汉语文本进行分析，将汉字拆分为不同的汉语可视化音素，将识别结果发送到结果队列；
(c)当主控模块收到识别结果的信息，启动合成模块，合成模块检测队列状态，从中取出识别结果即音素，将其映射为对应视素后，利用动态视素生成算法合成面部动画参数序列，发送到驱动模块；
(d)驱动模块利用收到的面部动画参数序列，驱动头部模型得到相应的面部动画。
4.如权利要求1所述的一种基于虚拟现实的言语失用症康复训练方法，其特征在于：所述的反馈信息包括位置信息、图像信息、按键反馈信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910425523.3A CN110176284A (zh) | 2019-05-21 | 2019-05-21 | 一种基于虚拟现实的言语失用症康复训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910425523.3A CN110176284A (zh) | 2019-05-21 | 2019-05-21 | 一种基于虚拟现实的言语失用症康复训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110176284A true CN110176284A (zh) | 2019-08-27 |
Family
ID=67691786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910425523.3A Pending CN110176284A (zh) | 2019-05-21 | 2019-05-21 | 一种基于虚拟现实的言语失用症康复训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110176284A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728739A (zh) * | 2019-09-30 | 2020-01-24 | 杭州师范大学 | 一种基于视频流的虚拟人控制与交互方法 |
| CN111459451A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459452A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459450A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111460785A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459454A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN113362432A (zh) * | 2020-03-04 | 2021-09-07 | Tcl科技集团股份有限公司 | 一种面部动画生成方法及装置 |
| CN113888934A (zh) * | 2021-11-11 | 2022-01-04 | 上海市养志康复医院（上海市阳光康复中心） | 一种基于vr视听觉引导的失语症康复训练系统及训练方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361620A (zh) * | 2014-11-27 | 2015-02-18 | 韩慧健 | 一种基于综合加权算法的口型动画合成方法 |
| CN108153415A (zh) * | 2017-12-22 | 2018-06-12 | 歌尔科技有限公司 | 虚拟现实语言教学交互方法和虚拟现实设备 |
| CN108227921A (zh) * | 2017-12-30 | 2018-06-29 | 北京工业大学 | 一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统 |
| CN109064799A (zh) * | 2018-08-31 | 2018-12-21 | 苏州竹原信息科技有限公司 | 一种基于虚拟现实的语言培训系统及方法 |
-
2019
- 2019-05-21 CN CN201910425523.3A patent/CN110176284A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361620A (zh) * | 2014-11-27 | 2015-02-18 | 韩慧健 | 一种基于综合加权算法的口型动画合成方法 |
| CN108153415A (zh) * | 2017-12-22 | 2018-06-12 | 歌尔科技有限公司 | 虚拟现实语言教学交互方法和虚拟现实设备 |
| CN108227921A (zh) * | 2017-12-30 | 2018-06-29 | 北京工业大学 | 一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统 |
| CN109064799A (zh) * | 2018-08-31 | 2018-12-21 | 苏州竹原信息科技有限公司 | 一种基于虚拟现实的语言培训系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李冰锋等: "实时语音驱动的虚拟说话人", 《清华大学学报（自然科学版）》 * |
| 王辉等: "虚拟现实训练对认知障碍的脑卒中偏瘫患者的影响", 《中国康复》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728739A (zh) * | 2019-09-30 | 2020-01-24 | 杭州师范大学 | 一种基于视频流的虚拟人控制与交互方法 |
| CN110728739B (zh) * | 2019-09-30 | 2023-04-14 | 杭州师范大学 | 一种基于视频流的虚拟人控制与交互方法 |
| CN113362432A (zh) * | 2020-03-04 | 2021-09-07 | Tcl科技集团股份有限公司 | 一种面部动画生成方法及装置 |
| CN113362432B (zh) * | 2020-03-04 | 2024-04-19 | Tcl科技集团股份有限公司 | 一种面部动画生成方法及装置 |
| CN111459451A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459452A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459450A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111460785A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459454A (zh) * | 2020-03-31 | 2020-07-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111459454B (zh) * | 2020-03-31 | 2021-08-20 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN111460785B (zh) * | 2020-03-31 | 2023-02-28 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN113888934A (zh) * | 2021-11-11 | 2022-01-04 | 上海市养志康复医院（上海市阳光康复中心） | 一种基于vr视听觉引导的失语症康复训练系统及训练方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110176284A (zh) | 一种基于虚拟现实的言语失用症康复训练方法 | |
| CN107203953B (zh) | 一种基于互联网、表情识别和语音识别的教学系统及其实现方法 | |
| CN109065055B (zh) | 基于声音生成ar内容的方法、存储介质和装置 | |
| CN105304080B (zh) | 语音合成装置及方法 | |
| McGuire et al. | Towards a one-way American sign language translator | |
| CN106205633B (zh) | 一种模仿、表演练习打分系统 | |
| Kumar et al. | Improving literacy in developing countries using speech recognition-supported games on mobile devices | |
| CN100397438C (zh) | 聋哑人汉语发音计算机辅助学习方法 | |
| Frutos et al. | Computer game to learn and enhance speech problems for children with autism | |
| CN110931111A (zh) | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 | |
| CN109841122A (zh) | 一种智能机器人教学系统及学生学习方法 | |
| US11145222B2 (en) | Language learning system, language learning support server, and computer program product | |
| US20070003913A1 (en) | Educational verbo-visualizer interface system | |
| CN101105894A (zh) | 多功能语言学习机 | |
| CN1851779B (zh) | 多种语言适用的聋哑人语音学习计算机辅助方法 | |
| CN103377568A (zh) | 一种多功能儿童体感教育系统 | |
| CN109493658A (zh) | 情景化人机对话式口语交互学习方法 | |
| CN115188074A (zh) | 一种互动式体育训练测评方法、装置、系统及计算机设备 | |
| CN101958060A (zh) | 英语拼读速成技术工具 | |
| Schreitter et al. | The OFAI multi-modal task description corpus | |
| CN101739852B (zh) | 基于语音识别的实现自动口译训练的方法和装置 | |
| CN117522643A (zh) | 一种口才训练方法、装置、设备及存储介质 | |
| US10971148B2 (en) | Information providing device, information providing method, and recording medium for presenting words extracted from different word groups | |
| Seivert Entwistle | The performance of automated speech recognition systems under adverse conditions of human exertion | |
| Tapus et al. | User adaptable robot behavior |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190827 |