CN106971647A - 一种结合肢体语言的口语训练方法及系统 - Google Patents

一种结合肢体语言的口语训练方法及系统 Download PDF

Info

Publication number
CN106971647A
CN106971647A CN201710066718.4A CN201710066718A CN106971647A CN 106971647 A CN106971647 A CN 106971647A CN 201710066718 A CN201710066718 A CN 201710066718A CN 106971647 A CN106971647 A CN 106971647A
Authority
CN
China
Prior art keywords
motion characteristic
achievement
training
oral training
oral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710066718.4A
Other languages
English (en)
Inventor
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201710066718.4A priority Critical patent/CN106971647A/zh
Publication of CN106971647A publication Critical patent/CN106971647A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages

Abstract

本发明适用计算机技术领域，提供了一种结合肢体语言的口语训练方法及系统，所述方法包括：发送口语训练文本后，开启摄像头及麦克风分别获取目标人物的影像数据及语音数据；分别提取所述影像数据中的动作特征及语音数据中的语音特征；将所述动作特征及所述语音特征依次与口语训练范例进行比对，得到训练成绩。本发明在向用户发送口语训练文本，将用户对口语训练文本做出的肢体语言以及发出的语音数据进行采集，通过分别提取动作特征和语音特征，与口语训练范例进行比对，不仅对音准方面进行训练，而且结合肢体语言进行训练，结合两个方向进行训练，帮助用户提高口语水平。

Description

一种结合肢体语言的口语训练方法及系统
技术领域
本发明属于计算机技术领域，尤其涉及一种结合肢体语言的口语训练方法及系统。
背景技术
目前口语训练一般都是通过检测学习者的发音状况，通过语音识别和分析系统来判断用户是否发音标准。但是用户在发音的过程中，只是掌握了语音的读法还远远不够，很多情况下语言交流需要一些其他的辅助手段来理解，同一句话在各种表情和肢体动作的配合下表达出来的意思也不尽相同，所以传统的口语训练方法只能针对口语的语音数据进行判断和打分，无法解决语言学习过程中的肢体语言部分的训练与检测。
发明内容
本发明的目的在于提供一种结合肢体语言的口语训练方法及系统，旨在解决现有技术中的口语训练只针对语音数据进行训练，没有结合肢体语言进行训练，无法从发音和肢体语言两个方面同时提升口语训练效果。
一方面，本发明提供了一种结合肢体语言的口语训练方法，所述方法包括下述步骤：
发送口语训练文本后，开启摄像头及麦克风分别获取目标人物的影像数据及语音数据；
分别提取所述影像数据中的动作特征及语音数据中的语音特征；
将所述动作特征及所述语音特征依次与口语训练范例进行比对，得到训练成绩。
另一方面，本发明提供了一种结合肢体语言的口语训练系统，所述系统包括：
数据获取单元，用于发送口语训练文本后，开启摄像头及麦克风分别获取目标人物的影像数据及语音数据；
特征提取单元，用于分别提取所述影像数据中的动作特征及语音数据中的语音特征；以及
训练成绩计算单元，用于将所述动作特征及所述语音特征依次与口语训练范例进行比对，得到训练成绩。
本发明实施例在向用户发送口语训练文本，将用户对口语训练文本做出的肢体语言以及发出的语音数据进行采集，通过分别提取动作特征和语音特征，与口语训练范例进行比对，不仅对音准方面进行训练，而且结合肢体语言进行训练，结合两个方向进行训练，帮助用户提高口语水平。
附图说明
图1是本发明实施例一提供的结合肢体语言的口语训练方法的实现流程图；
以及
图2是本发明实施例二提供的结合肢体语言的口语训练系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的结合肢体语言的口语训练方法的实现流程图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，发送口语训练文本后，开启摄像头及麦克风分别获取目标人物的影像数据及语音数据。
在本发明实施例中，以英语为母语的人有着较为丰富的肢体动作，说话的时候会配合很多肢体语言，比如耸肩、摊手等，而这些肢体语言都是配合我们理解他们语言的一种方式，所以在口语的学习过程中，我们不仅要学习准确的发音，还要学会这些肢体语言的配合方式。在口语训练过程中，向用户发送口语训练文本，口语训练文本为一段文字，需要用户根据这些文字进行口语以及肢体语言的表达，开启麦克风对用户念口语训练文本的语音数据进行录制，开启摄像头对用户念口语训练文本时的肢体语言进行捕获，从而分别得到目标人物的影像数据及语音数据。与肢体语言结合的口语训练，除了在训练口语的过程中检测语音的准确性，还要通过摄像头检测学习者的肢体动作，这样保证了学会英语口语的同时能够掌握配合一些肢体语言去和外国人交流沟通，提高口语学习的效果。
在步骤S102中，分别提取影像数据中的动作特征及语音数据中的语音特征。
在本发明实施例中，开启麦克风对用户念口语训练文本的语音数据进行录制得到语音数据，开启摄像头对用户念口语训练文本时的肢体语言进行捕获得到影像数据，分别对语音数据中的语音特征以及影像数据中的动作特征进行提取。通过摄像头获取影像数据可以是利用移动智能设备的前置摄像头或后置摄像头获取影像数据。当然，在实际应用中，利用前置摄像头可以使用户更加直观、便捷的看见前置摄像头所采集的画面。
进一步地，按照预设时间间隔，依次提取影像数据中的关键点的坐标位置，形成动作特征。
具体地，按照预设时间间隔，依次提取所述影像数据中的关键点的坐标位置，提高了关键点的坐标位置的精确度，以及减少运算数据量，该关键点包括眉毛、嘴巴、头部、手及肘关节等，通过提取关键点的坐标位置，可以得到各个关键点之间的位置关系。在实际应用中，可以对关键点的个数进行设置，以根据用户训练进度增加或者降低训练强度。对每个关键点的坐标位置依次进行连接，得到运动轨迹。
在步骤S103中，将动作特征及语音特征依次与口语训练范例进行比对，得到训练成绩。
在本发明实施例中，训练成绩包括肢体语言成绩以及口语成绩，肢体语言成绩为动作特征与口语训练范例中的动作特征范例的偏差值，口语成绩为语音特征与口语训练范例中的语音特征范例的相似度。用户可以根据肢体语言成绩和口语成绩分别精准地知道自身不足之处，以便进行针对性的加强训练。将动作特征与口语训练范例中的动作特征范例进行比对，计算出动作特征与动作特征范例的偏差值，将偏差值作为肢体语言成绩。
本发明实施例在向用户发送口语训练文本，将用户对口语训练文本做出的肢体语言以及发出的语音数据进行采集，通过分别提取动作特征和语音特征，与口语训练范例进行比对，不仅对音准方面进行训练，而且结合肢体语言进行训练，结合两个方向进行训练，帮助用户提高口语水平。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
实施例二：
图2示出了本发明实施例二提供的结合肢体语言的口语训练系统的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。在本发明实施例中，结合肢体语言的口语训练系统包括：
数据获取单元21，用于发送口语训练文本后，开启摄像头及麦克风分别获取目标人物的影像数据及语音数据。
在本发明实施例中，以英语为母语的人有着较为丰富的肢体动作，说话的时候会配合很多肢体语言，比如耸肩、摊手等，而这些肢体语言都是配合我们理解他们语言的一种方式，所以在口语的学习过程中，我们不仅要学习准确的发音，还要学会这些肢体语言的配合方式。在口语训练过程中，向用户发送口语训练文本，口语训练文本为一段文字，需要用户根据这些文字进行口语以及肢体语言的表达，开启麦克风对用户念口语训练文本的语音数据进行录制，开启摄像头对用户念口语训练文本时的肢体语言进行捕获，从而分别得到目标人物的影像数据及语音数据。与肢体语言结合的口语训练，除了在训练口语的过程中检测语音的准确性，还要通过摄像头检测学习者的肢体动作，这样保证了学会英语口语的同时能够掌握配合一些肢体语言去和外国人交流沟通，提高口语学习的效果。
特征提取单元22，用于分别提取影像数据中的动作特征及语音数据中的语音特征。
在本发明实施例中，开启麦克风对用户念口语训练文本的语音数据进行录制得到语音数据，开启摄像头对用户念口语训练文本时的肢体语言进行捕获得到影像数据，分别对语音数据中的语音特征以及影像数据中的动作特征进行提取。通过摄像头获取影像数据可以是利用移动智能设备的前置摄像头或后置摄像头获取影像数据。当然，在实际应用中，利用前置摄像头可以使用户更加直观、便捷的看见前置摄像头所采集的画面。
进一步地，特征提取单元22包括：动作特征提取单元221，用于按照预设时间间隔，依次提取所述影像数据中的关键点的坐标位置，形成动作特征。
具体地，按照预设时间间隔，依次提取所述影像数据中的关键点的坐标位置，提高了关键点的坐标位置的精确度，以及减少运算数据量，该关键点包括眉毛、嘴巴、头部、手及肘关节等，通过提取关键点的坐标位置，可以得到各个关键点之间的位置关系。在实际应用中，可以对关键点的个数进行设置，以根据用户训练进度增加或者降低训练强度。动作特征提取单元具体用于：对每个关键点的坐标位置依次进行连接，得到运动轨迹。
训练成绩计算单元23，用于将动作特征及语音特征依次与口语训练范例进行比对，得到训练成绩。
在本发明实施例中，训练成绩包括肢体语言成绩以及口语成绩，肢体语言成绩为动作特征与口语训练范例中的动作特征范例的偏差值，口语成绩为语音特征与口语训练范例中的语音特征范例的相似度。用户可以根据肢体语言成绩和口语成绩分别精准地知道自身不足之处，以便进行针对性的加强训练。训练成绩计算单元23包括：偏差值计算单元231，用于将动作特征与口语训练范例中的动作特征范例进行比对，计算出动作特征与动作特征范例的偏差值。
本发明实施例在向用户发送口语训练文本，将用户对口语训练文本做出的肢体语言以及发出的语音数据进行采集，通过分别提取动作特征和语音特征，与口语训练范例进行比对，不仅对音准方面进行训练，而且结合肢体语言进行训练，结合两个方向进行训练，帮助用户提高口语水平。
在本发明实施例中，结合肢体语言的口语训练系统各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。该系统各单元的实施方式具体可参考前述实施例一的描述，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种结合肢体语言的口语训练方法，其特征在于，所述方法包括下述步骤：
发送口语训练文本后，开启摄像头及麦克风分别获取目标人物的影像数据及语音数据；
分别提取所述影像数据中的动作特征及语音数据中的语音特征；
将所述动作特征及所述语音特征依次与口语训练范例进行比对，得到训练成绩。
2.如权利要求1所述的方法，其特征在于，提取所述影像数据中的动作特征的步骤，包括：
按照预设时间间隔，依次提取所述影像数据中的关键点的坐标位置，形成动作特征。
3.如权利要求2所述的方法，其特征在于，按照预设时间间隔，依次提取所述影像数据中的关键点的坐标位置，形成动作特征的步骤，包括：
对每个关键点的坐标位置依次进行连接，得到运动轨迹。
4.如权利要求1所述的方法，其特征在于，将所述动作特征与口语训练范例进行比对的步骤，包括：
将所述动作特征与所述口语训练范例中的动作特征范例进行比对，计算出所述动作特征与所述动作特征范例的偏差值。
5.如权利要求1所述的方法，其特征在于，所述训练成绩包括肢体语言成绩以及口语成绩，所述肢体语言成绩为所述动作特征与所述口语训练范例中的动作特征范例的偏差值，所述口语成绩为所述语音特征与所述口语训练范例中的语音特征范例的相似度。
6.一种结合肢体语言的口语训练系统，其特征在于，所述系统包括：
数据获取单元，用于发送口语训练文本后，开启摄像头及麦克风分别获取目标人物的影像数据及语音数据；
特征提取单元，用于分别提取所述影像数据中的动作特征及语音数据中的语音特征；以及
训练成绩计算单元，用于将所述动作特征及所述语音特征依次与口语训练范例进行比对，得到训练成绩。
7.如权利要求6所述的系统，其特征在于，所述特征提取单元包括：
动作特征提取单元，用于按照预设时间间隔，依次提取所述影像数据中的关键点的坐标位置，形成动作特征。
8.如权利要求7所述的系统，其特征在于，所述动作特征提取单元具体用于：对每个关键点的坐标位置依次进行连接，得到运动轨迹。
9.如权利要求6所述的系统，其特征在于，所述训练成绩计算单元包括：
偏差值计算单元，用于将所述动作特征与所述口语训练范例中的动作特征范例进行比对，计算出所述动作特征与所述动作特征范例的偏差值。
10.如权利要求6所述的系统，其特征在于，所述训练成绩包括肢体语言成绩以及口语成绩，所述肢体语言成绩为所述动作特征与所述口语训练范例中的动作特征范例的偏差值，所述口语成绩为所述语音特征与所述口语训练范例中的语音特征范例的相似度。
CN201710066718.4A 2017-02-07 2017-02-07 一种结合肢体语言的口语训练方法及系统 Pending CN106971647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710066718.4A CN106971647A (zh) 2017-02-07 2017-02-07 一种结合肢体语言的口语训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710066718.4A CN106971647A (zh) 2017-02-07 2017-02-07 一种结合肢体语言的口语训练方法及系统

Publications (1)

Publication Number Publication Date
CN106971647A true CN106971647A (zh) 2017-07-21

Family

ID=59334462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710066718.4A Pending CN106971647A (zh) 2017-02-07 2017-02-07 一种结合肢体语言的口语训练方法及系统

Country Status (1)

Country Link
CN (1) CN106971647A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697988A (zh) * 2017-10-20 2019-04-30 深圳市鹰硕音频科技有限公司 一种语音评价方法及装置
CN110135697A (zh) * 2019-04-15 2019-08-16 平安科技（深圳）有限公司 情感训练方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1218570A (zh) * 1996-02-27 1999-06-02 莱克斯特朗系统公司 个人计算机外设交互式玩具娃娃
CN103218924A (zh) * 2013-03-29 2013-07-24 上海众实科技发展有限公司 一种基于音视频双模态的口语学习监测方法
CN103377568A (zh) * 2013-06-20 2013-10-30 浙江大学软件学院（宁波）管理中心（宁波软件教育中心） 一种多功能儿童体感教育系统
CN106020440A (zh) * 2016-05-05 2016-10-12 西安电子科技大学 一种基于体感交互的京剧教学系统
CN106205237A (zh) * 2016-08-31 2016-12-07 律世刚 基于动作反应和绘画反应的第二母语的训练方法及装置
CN205881222U (zh) * 2016-04-25 2017-01-11 哈尔滨理工大学 一种日语口语训练装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1218570A (zh) * 1996-02-27 1999-06-02 莱克斯特朗系统公司 个人计算机外设交互式玩具娃娃
CN103218924A (zh) * 2013-03-29 2013-07-24 上海众实科技发展有限公司 一种基于音视频双模态的口语学习监测方法
CN103377568A (zh) * 2013-06-20 2013-10-30 浙江大学软件学院（宁波）管理中心（宁波软件教育中心） 一种多功能儿童体感教育系统
CN205881222U (zh) * 2016-04-25 2017-01-11 哈尔滨理工大学 一种日语口语训练装置
CN106020440A (zh) * 2016-05-05 2016-10-12 西安电子科技大学 一种基于体感交互的京剧教学系统
CN106205237A (zh) * 2016-08-31 2016-12-07 律世刚 基于动作反应和绘画反应的第二母语的训练方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697988A (zh) * 2017-10-20 2019-04-30 深圳市鹰硕音频科技有限公司 一种语音评价方法及装置
CN109697988B (zh) * 2017-10-20 2021-05-14 深圳市鹰硕教育服务有限公司 一种语音评价方法及装置
CN110135697A (zh) * 2019-04-15 2019-08-16 平安科技（深圳）有限公司 情感训练方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN109065055B (zh) 基于声音生成ar内容的方法、存储介质和装置
CN100397438C (zh) 聋哑人汉语发音计算机辅助学习方法
EP3859735A3 (en) Voice conversion method, voice conversion apparatus, electronic device, and storage medium
CN101739867A (zh) 运用计算机对口语翻译质量进行评分的方法
US20160321953A1 (en) Pronunciation learning support system utilizing three-dimensional multimedia and pronunciation learning support method thereof
WO2013040981A1 (zh) 一种基于近邻原则合成情感模型的说话人识别方法
WO2021196645A1 (zh) 交互对象的驱动方法、装置、设备以及存储介质
CN102426834A (zh) 测试英文口语韵律水平的方法
WO2007134494A1 (fr) Procédé informatique auxiliaire adapté à un système d'apprentissage de prononciation multilingue pour sourds-muets
Rasilo et al. An online model for vowel imitation learning
WO2006034569A1 (en) A speech training system and method for comparing utterances to baseline speech
CN106971647A (zh) 一种结合肢体语言的口语训练方法及系统
JPH0612483A (ja) 音声入力方法及び装置
Massaro et al. A multilingual embodied conversational agent
CN111832412B (zh) 一种发声训练矫正方法及系统
Yu Computer-aided english pronunciation accuracy detection based on lip action recognition algorithm
Iribe et al. Improvement of animated articulatory gesture extracted from speech for pronunciation training
Altalmas et al. Lips tracking identification of a correct Quranic letters pronunciation for Tajweed teaching and learning
Argyropoulos et al. Multimodal user interface for the communication of the disabled
Shangavi et al. Self-speech evaluation with speech recognition and gesture analysis
Jin Design of Students' Spoken English Pronunciation Training System Based on Computer VB Platform.
KR101668554B1 (ko) 외국어발성 학습방법 및 그 장치
Ramirez-De Angel et al. Live Demonstration: AI-Assisted Magnetic Skin tracker for Speech Recognition
Kim et al. Estimation of the movement trajectories of non-crucial articulators based on the detection of crucial moments and physiological constraints.
Chao et al. An automatic vowel space generator for language learner pronunciation acquisition and correction

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170721