CN112786151B - 一种语言功能训练系统以及方法 - Google Patents

Abstract

本发明适用计算机技术领域，提供了一种语言功能训练系统以及方法，包括：信息采集设备，用于采集当前与用户对话的目标对象的语言信息、面部表情以及肢体动作；接收语言引导训练策略，以使用户根据所述语言训练引导策略对所述目标对象进行语言引导训练；信息处理设备，用于接收目标对象的语言信息、面部表情以及肢体动作；根据语言信息、面部表情以及肢体动作，确定目标对象的情绪特征；根据语言信息以及情绪特征，确定语言引导训练策略。本发明通过目标对象的面部表情以及肢体动作，语言信息以及情绪特征来生成具有针对性的语言引导训练策略，便于对目标对象进行更高效的语言功能训练，降低因措辞情绪不当而给目标对象带来情感伤害的概率发生。

Description

一种语言功能训练系统以及方法

技术领域

本发明属于计算机技术领域，尤其涉及一种语言功能训练系统以及方法。

背景技术

语言是人际间交流的工具，儿童或者语言障碍患者要获得有声语言，都需进行语言功能训练，语言功能训练能帮助儿童或者语言障碍患者掌握发音要领以及技巧，同时培养正确的语言习惯，是为说出每一个字音打下坚实的基础关键。

然而，对于儿童而言，其在学习语言时主要是从模仿家长讲话开始，因此需要家长不断的训练引导其说话，尤其患有孤独症的儿童，语言方面的缺陷严重阻碍了他们融入社会的道路，而语言训练也是众多家长的心头大患，目前家长对于儿童的语言训练缺乏有效方法，尤其对于一些新手家长更是无从下手，甚至需要家长花费大量时间去学习育儿知识，或者将儿童送往语言功能训练机构由专家老师对其进行语言训练引导，另外，由于对儿童心理缺乏认识，在引导儿童进行语言训练时容易因措辞情绪不当而给儿童带来不可忽视的情感伤害。

由此可见，现有的语言功能训练方法存在训练效率低以及训练效果差，且容易因措辞情绪不当而给儿童带来不可忽视的情感伤害的问题。

发明内容

本发明实施例的目的在于提供一种语言功能训练系统，旨在解决现有的语言功能训练方法存在训练效率低以及训练效果差，且容易因措辞情绪不当而给儿童带来不可忽视的情感伤害的问题。

本发明实施例是这样实现的，一种语言功能训练系统，包括信息采集设备以及与所述信息采集设备通讯的信息处理设备；

所述信息采集设备，用于采集当前与用户对话的目标对象的语言信息、面部表情以及肢体动作；将所述目标对象的语言信息、面部表情以及肢体动作发送至信息处理设备；接收所述信息处理设备反馈的语言引导训练策略，以使所述用户根据所述语言训练引导策略对所述目标对象进行语言引导训练；

所述信息处理设备，用于接收所述信息采集设备发送的目标对象的语言信息、面部表情以及肢体动作；根据所述语言信息、面部表情以及肢体动作，确定所述目标对象的情绪特征；根据所述语言信息以及情绪特征，确定语言引导训练策略；将所述语言引导训练策略反馈至所述信息采集设备。

本发明实施例的另一目的在于一种语言功能训练方法，包括：

采集当前与用户对话的目标对象的语言信息、面部表情以及肢体动作；

根据所述语言信息、面部表情以及肢体动作，确定所述目标对象的情绪特征；

根据所述语言信息以及情绪特征，确定语言引导训练策略，以使所述用户根据所述语言训练引导策略对所述目标对象进行语言引导训练。

本发明实施例提供的一种语言功能训练系统，通过信息采集设备采集当前与用户对话的目标对象的语言信息、面部表情以及肢体动作，由信息处理设备根据所述语言信息、面部表情以及肢体动作，确定所述目标对象的情绪特征，以及根据所述语言信息以及情绪特征，确定语言引导训练策略，以使所述用户得以根据所述语言训练引导策略对所述目标对象进行语言引导训练。本发明通过目标对象的面部表情以及肢体动作，结合语言信息以及情绪特征来生成具有针对性的语言引导训练策略，便于对目标对象进行更高效的语言功能训练，同时，可有效降低因措辞情绪不当而给目标对象带来情感伤害的概率发生。

附图说明

图1为本发明实施例提供的一种语言功能训练系统的结构示意图；

图2为本发明实施例提供的另一种语言功能训练系统的结构示意图；

图3为本发明实施例提供的又一种语言功能训练系统的结构示意图；

图4为本发明实施例提供的一种语言功能训练方法的实现流程图；

图5为本发明实施例提供的另一种语言功能训练方法的实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例为了解决现有的语言功能训练方法存在训练效率低以及训练效果差，且容易因措辞情绪不当而给儿童带来不可忽视的情感伤害的问题，提供了一种语言功能训练系统，通过信息采集设备采集当前与用户对话的目标对象的语言信息、面部表情以及肢体动作，由信息处理设备根据所述语言信息、面部表情以及肢体动作，确定所述目标对象的情绪特征，以及根据所述语言信息以及情绪特征，确定语言引导训练策略，以使所述用户得以根据所述语言训练引导策略对所述目标对象进行语言引导训练。本发明通过目标对象的面部表情以及肢体动作，结合语言信息以及情绪特征来生成具有针对性的语言引导训练策略，便于对目标对象进行更高效的语言功能训练，同时，可有效降低因措辞情绪不当而给目标对象带来情感伤害的概率发生。

为了进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。

图1为本发明实施例提供的一种语言功能训练系统的结构示意图，为了便于说明，仅示出与本发明实施例相关的部分。

在本发明实施例中，所述语言功能训练系统包括信息采集设备110以及与所述信息采集设备110通讯的信息处理设备120。

所述信息采集设备110，用于采集当前与用户对话的目标对象的语言信息、面部表情以及肢体动作；将所述目标对象的语言信息、面部表情以及肢体动作发送至信息处理设备120；接收所述信息处理设备120反馈的语言引导训练策略，以使所述用户根据所述语言训练引导策略对所述目标对象进行语言引导训练。

在本发明实施例中，信息采集设备为具备录音以及摄影功能的设备，如相当于常规的可视频录制的设备。语言信息包括但不限于语言文字信息、语音信息。

所述信息处理设备120，用于接收所述信息采集设备110发送的目标对象的语言信息、面部表情以及肢体动作；根据所述语言信息、面部表情以及肢体动作，确定所述目标对象的情绪特征；根据所述语言信息以及情绪特征，确定语言引导训练策略；将所述语言引导训练策略反馈至所述信息采集设备110。

在本发明实施例中，情绪特征可以概括为喜、怒、哀、乐、恐惧、害怕等，通过对目标对象的语言信息、面部表情以及肢体动作的辨识，可以较为准确地判断目标对象的情绪特征状态，如当前目标对象的语音带有啼哭声以及面部表情带有为哭丧表情，则可以确定目标对象的情绪特征为“哀”；如当前目标对象的语音带有嘶吼声以及面部表情为狰狞和/或肢体动作为叉腰，则可以确定目标对象的情绪特征为“怒”；如当前目标对象的语言文字包含“我好开心”以及面部表情为笑容满面和/或肢体动作为手舞足蹈，则可以确定目标对象的情绪特征为“喜”。另外，经研究过程发现，单独以语言信息作为目标对象的情绪特征判断依据，识别准确率较低，而以语言信息、面部表情以及肢体动作作为目标对象的情绪特征共同判断依据，识别准确率更高。进一步，情绪特征还可以通过情绪特征识别模型进行识别，该情绪特征识别模型可以是通过预先采集的大量涵盖有语言信息、面部表情以及肢体动作的目标样本经含有可变参数的卷积神经网络训练生成，其中，目标样本均标住过对应的情绪特征，通过在训练生成的情绪特征识别模型中输入语言信息、面部表情以及肢体动作，可生成对应的情绪特征。

另外，为了对情绪特征进行更精确的识别，上述情绪特征还可以进一步衍生出更细化的类别，如其中喜还可以分为高兴、喜欢，怒还可以分为生气、恨。

在本发明实施例中，不同年龄段的目标对象对应的语言训练方式有所区别，因此在确定语言引导训练策略也必然结合了目标对象的心理年龄以及实际年龄，本发明实施例将目标对象限定为儿童进行说明，但不应以此限制本发明范围。语言引导训练策略可以是以情景对话引导形式呈现，具体而言，当目标对象的语言信息为嘶吼语调以及情绪特征为“怒”时，则生成的情景对话引导文本不仅包含如何引导目标对象倾诉愤怒缘由的文本，如用户向目标对象提问文本以及特定的语调表情要求以引导目标对象倾诉愤怒缘由，还包含如何缓解目标对象情绪的文本如转移目标对象注意力的措施等，还包含沟通情景提供的建议如安静无他人的环境、带有特定音乐氛围的环境等，还包含用户的沟通语调表情的建议如语速、语调、语音强度、微笑等。

本发明实施例提供的一种语言功能训练系统，通过信息采集设备采集当前与用户对话的目标对象的语言信息、面部表情以及肢体动作，由信息处理设备根据所述语言信息、面部表情以及肢体动作，确定所述目标对象的情绪特征，以及根据所述语言信息以及情绪特征，确定语言引导训练策略，以使所述用户得以根据所述语言训练引导策略对所述目标对象进行语言引导训练。本发明通过目标对象的面部表情以及肢体动作，结合语言信息以及情绪特征来生成具有针对性的语言引导训练策略，便于对目标对象进行更高效的语言功能训练，同时，可有效降低因措辞情绪不当而给目标对象带来情感伤害的概率发生。

在一个实施例中，一种语言功能训练系统，其与图1所示的系统相比，区别在于：

在本发明实施例中，所述信息采集设备120，还用于当根据所述目标对象的语言信息与预设标准发音模型判断所述目标对象的语言信息存在发音错误时，则获取错误音素信息；根据所述错误音素信息，生成发音训练文本。

在本发明实施例中，预设标准发音模型可以为现有的标准语言发音模型，也可以为现有的语言发音标准库。根据所述目标对象的语言信息与预设标准发音模型判断所述目标对象的语言信息存在发音错误，具体可以为将目标对象的语音信息与跟语音信息对应的文本所对应的标准发音进行比对，如目标对象的语音信息对应的文本为“天天向上”，则将目标对象对于文本“天天向上”的发音与标准的“天天向上”发音进行比对，在不存在多音字的情况下可直接获取错误音素信息，即发音错误的字，如果存在多音字，则还需结合文本以及现有词典进一步确定标准发音。

在本发明实施例中，发音训练文本为包含有错误音素信息的文本，即可以为只单独包括错误发音字的训练文本，也可以为包括错误发音字的文章、散文、期刊、报纸等提取段落，有助目标对象进一步掌握标准发音。另外，该发音训练文本可以为供用户对所述目标对象进行语言引导训练时使用，也可以为供目标对象自行自我语言训练时使用；

本发明实施例提供的一种语言功能训练系统，当通过信息采集设备根据所述目标对象的语言信息与预设标准发音模型判断所述目标对象的语言信息存在发音错误时，则获取错误音素信息；根据所述错误音素信息，生成发音训练文本。本发明针对性地通过包含有错误音素信息的发音训练文本对目标对象进行语言训练，有助目标对象进一步掌握标准发音。

在一个实施例中，如图2所示，一种语言功能训练系统，其与上述实施例类似，区别在于：

在本发明实施例中，所述发音训练文本携带有所述错误音素信息对应的发音口型示范；所述语言功能训练系统还包括发音训练设备210。

所述发音训练设备210，与所述信息采集设备120通讯，用于接收所述发音训练文本；展现所述错误音素信息对应的发音口型示范，以供所述目标对象根据所述发音口型示范进行发音训练。

在本发明实施例中，发音训练设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。发音口型示范可以是指发音标准时对应的口型视频，该口型视频可以预先通过标准发音专业人士或者人工智能合成的方式进行设置。

在本发明一个优选实施例中，一种语言功能训练系统，其与上述实施例类似，区别在于：

在本发明实施例中，所述发音训练设备210，还用于捕捉并显示所述目标对象的发音口型变化视频；根据所述发音口型变化视频以及发音口型示范，确定发音口型错误处提示，以供所述目标对象根据所述发音口型错误处提示对发音口型进行调整。

在本发明实施例中，发音训练设备上设置有前置摄像头，在目标用户进行发音训练时，捕捉并显示所述目标对象的发音口型变化视频，以供目标用户及时判断其发音口型是否正确；进一步地，发音训练设备还可以通过对比目标用户针对同一个字的发音口型变化视频以及标准口型视频，获得张口形状错误处提示信息。

本发明实施例提供的一种语言功能训练系统，通过发音训练设备展示发音口型示范，以供所述目标对象根据所述发音口型示范进行发音训练，以及捕捉并显示所述目标对象的发音口型变化视频，并根据所述发音口型变化视频以及发音口型示范，确定发音口型错误处提示，以供所述目标对象根据所述发音口型错误处提示对发音口型进行调整，有利目标对象高效更正错误发音。

在一个实施例中，一种语言功能训练系统，其与图1所示的系统相比，区别在于：

在本发明实施例中，所述信息采集设备110，还用于获取视觉范围的目标对象的语言功能反射区图像；将所述语言功能反射区图像发送至所述信息处理设备；接收待训练穴位信息以及位置信息；根据所述待调理训练穴位信息在所述语言功能反射区图像中的位置信息显示所述待调理训练穴位信息，以对所述目标对象的语言功能反射区进行调理训练。

在本发明实施例中，信息采集设备为一种可穿戴式显示设备，一般是以眼镜、头盔、眼罩等形式呈现，其可穿戴于用户/目标对象头部，且在用户/目标对象眼睛前具有一透明显示屏幕。

在本发明实施例中，为更方便的获取视觉范围内的目标对象的语言功能反射区图像，可以在信息采集设备的眼框部件的各个方向位置上设置有多个图像信息采集装置，根据所述多个图像信息采集装置的位置信息，将所述多个图像信息采集装置获取的目标对象的语言功能反射区图像经过融合、去重即可获取用户视觉范围内的目标对象的语言功能反射区图像。

在本发明实施例中，语言功能反射区图像一般为足底图像，脚底上包含各个反射区的穴位，具体而言，语言功能反射区包括垂体反射区、肾上腺反射区、肾反射区、输尿管反射区、膀胱反射区、头部反射区、心反射区、肺反射区、胃肠反射区、肩反射区、肘部反射区、髋关节反射区、脊椎反射区、上下颌反射区、甲状旁腺反射区等。通过按摩刺激反射区对应的穴位，可以有效修复语言神经，尤其对于语言障碍患者而言，按摩反射区调理训练是其语言训练必要的辅助手段。

所述信息处理设备120，用于接收所述语言功能反射区图像；根据所述语言功能反射区图像以及预设的语言功能反射区调理训练标准，在所述语言功能反射区图像中确定待调理训练穴位信息以及所述待调理训练穴位的位置信息；将所述待调理训练穴位信息以及位置信息发送至所述信息采集设备。

在本发明实施例中，识别出存在于所述语言功能反射区图像中足底轮廓，进而根据预设的语言功能反射区调理训练标准或者标准足底穴位图，在足底轮廓内确定各个语言功能反射区对应的穴位信息以及对应的位置信息。

在本发明实施例中，预设的语言功能反射区调理训练标准可以是现有的反射区按摩调理标准，也可以是预先通过反射区按摩调理专业人士或者人工智能合成的方式进行设置，在此不做具体限制。

值得注意的是，本发明实施例提供的语言功能训练系统中佩戴信息采集设备的人员一般要求是具有一定反射区按摩调理知识或者经验，能掌控按压力度的人。

本发明实施例提供的一种语言功能训练系统，通过信息采集设备获取视觉范围的目标对象的语言功能反射区图像，并将所述语言功能反射区图像发送至所述信息处理设备，所述信息处理设备根据所述语言功能反射区图像以及预设的语言功能反射区调理训练标准，在所述语言功能反射区图像中确定待调理训练穴位信息以及所述待调理训练穴位的位置信息，并将所述待调理训练穴位信息以及位置信息发送至所述信息采集设备，所述信息采集设备根据所述待调理训练穴位信息在所述语言功能反射区图像中的位置信息显示所述待调理训练穴位信息，以对所述目标对象的语言功能反射区进行调理训练。本发明根据所述待调理训练穴位信息在所述语言功能反射区图像中的位置信息显示所述待调理训练穴位信息，使得操作人员能直接在看到语言功能反射区的同时，实时识别出待调理训练穴位信息，便于其进行按摩刺激反射区对应的穴位，有效修复语言神经，从而达到高效语言功能训练效果。

在一个实施例中，如图3所示，一种语言功能训练系统，其与图1所示的系统相比，区别在于：

在本发明实施例中，所述语言功能训练系统还包括穴位按压设备310。

所述信息采集设备110，还用于获取目标对象的语言功能反射区上的穴位位置信息以及与所述穴位位置信息对应的按压力度信息；将所述穴位位置信息以及按压力度信息发送至所述穴位按压设备310。

在本发明实施例中，按压力度信息是指针对每一语言功能反射区对应的穴位位置对应的适宜按压力度，而对于语言功能反射区上的各穴位所在的位置信息以及按压力度信息的获取方式可以通过常规的人为自主录入的形式提供，或者通过在语言功能反射区表面设置位置感应器以及压力感应器以通过感应记录获得，本发明对获取方式不做具体限定。

所述穴位按压设备310，与所述信息采集设备110通讯，用于接收所述穴位位置信息以及按压力度信息；根据所述按压力度信息，在所述穴位位置信息对应的穴位位置执行按压动作，以对所述目标对象的语言功能反射区进行调理训练。

在本发明实施例中，在语言功能反射区对应的穴位位置实施与对应穴位对应的按压力度，对操作者的资质要求低，即无需其具备相关的反射区按摩调理知识或者经验，以及掌控按压力度的资质要求，且按压动作由穴位按压设备全权实施，即由穴位按压设备对目标对象进行按摩刺激反射区对应的穴位，修复语言神经，解放操作者双手。

在本发明一个优选实施例中，所述信息采集设备110，用于获取用户基于目标对象的语言功能反射区设置的可触控幕布的穴位位置信息以及与所述穴位位置信息对应的按压力度信息；将所述穴位位置信息以及按压力度信息发送至所述穴位按压设备310。

在本发明实施例中，可触控幕布上涉及经纬度或者坐标信息，其实现触控原理为现有技术，具体可参照现有技术，本发明实施例将其以电容屏形式呈现，以用户手指作为电极使用，即将可触控幕布贴附于目标对象的语言功能反射区(足底)，当用户用手指接触该可触控幕布时，与该可触控幕布形成电容，从而可以得到手指触摸点的经纬度或者坐标信息，若接触位置为对应某反射区的穴位位置，则所获得的经纬度或者坐标信息即为穴位位置信息；而按压力度信息的获取可以通过在该可触控幕布内设置常规压力传感器的方式来获得，以用户在某一穴位位置的按压力度作为该穴位位置对应的按压力度信息。

本发明实施例通过设置可触控幕布，实现以简单的体表触压的方式来获取穴位位置信息以及与所述穴位位置信息对应的按压力度信息，进一步提高信息获取效率。

在本发明另一个优选实施例中，所述信息采集设备110显示有若干触控点，用于接收目标对象的语言功能反射区图像；获取用户基于所述触控点对应语言功能反射区图像输入的触控点按压位置信息以及所述触控点对应的按压力度信息，所述触控点按压位置信息为对应穴位位置信息；将所述穴位位置信息以及按压力度信息发送至所述穴位按压设备310。

在本发明实施例中，信息采集设备相当于包含显示屏幕的可触控智能终端，显示屏上设置有若干触控点，该触控点可以为按键形式，或者为平面触控点形式提供，本发明对其提供形式不做具体限定。通过在显示屏幕上显示对应目标对象的语言功能反射区图像，通过触控在语言功能反射区图像上对应穴位位置的触控点来获取穴位位置信息，而按压力度同样可以通过在显示屏上设置压力传感器的方式来获得，以触控压力作为按压力度。

本发明实施例进一步提供了一种以简单触控点触控的方式来获得穴位位置信息以及与所述穴位位置信息对应的按压力度信息。

在一个实施例中，如图4所示，提出了一种语言功能训练方法，具体可以包括以下步骤：

步骤S401，采集当前与用户对话的目标对象的语言信息、面部表情以及肢体动作。

在本发明实施例中，与用户对话的目标对象的语言信息、面部表情以及肢体动作可以通过具备录音以及摄影功能的设备，如相当于常规的可视频录制的设备进行采集，本发明对具体采集方式不做限定。

在本发明实施例中，语言信息包括但不限于语言文字信息、语音信息。

步骤S402，根据所述语言信息、面部表情以及肢体动作，确定所述目标对象的情绪特征。

在本发明实施例中，情绪特征可以概括为喜、怒、哀、乐、恐惧、害怕等，通过对目标对象的语言信息、面部表情以及肢体动作的辨识，可以较为准确地判断目标对象的情绪特征状态，如当前目标对象的语音带有啼哭声以及面部表情带有为哭丧表情，则可以确定目标对象的情绪特征为“哀”；如当前目标对象的语音带有嘶吼声以及面部表情为狰狞和/或肢体动作为叉腰，则可以确定目标对象的情绪特征为“怒”；如当前目标对象的语言文字包含“我好开心”以及面部表情为笑容满面和/或肢体动作为手舞足蹈，则可以确定目标对象的情绪特征为“喜”。另外，经研究过程发现，单独以语言信息作为目标对象的情绪特征判断依据，识别准确率较低，而以语言信息、面部表情以及肢体动作作为目标对象的情绪特征共同判断依据，识别准确率更高。进一步，情绪特征还可以通过情绪特征识别模型进行识别，该情绪特征识别模型可以是通过预先采集的大量涵盖有语言信息、面部表情以及肢体动作的目标样本经含有可变参数的卷积神经网络训练生成，其中，目标样本均标住过对应的情绪特征，通过在训练生成的情绪特征识别模型中输入语言信息、面部表情以及肢体动作，可生成对应的情绪特征。

另外，为了对情绪特征进行更精确的识别，上述情绪特征还可以进一步衍生出更细化的类别，如其中喜还可以分为高兴、喜欢，怒还可以分为生气、恨。

步骤S401，根据所述语言信息以及情绪特征，确定语言引导训练策略，以使所述用户根据所述语言训练引导策略对所述目标对象进行语言引导训练。

在本发明实施例中，不同年龄段的目标对象对应的语言训练方式有所区别，因此在确定语言引导训练策略也必然结合了目标对象的心理年龄以及实际年龄，本发明实施例将目标对象限定为儿童进行说明，但不应以此限制本发明范围。语言引导训练策略可以是以情景对话引导形式呈现，具体而言，当目标对象的语言信息为嘶吼语调以及情绪特征为“怒”时，则生成的情景对话引导文本不仅包含如何引导目标对象倾诉愤怒缘由的文本，如用户向目标对象提问文本以及特定的语调表情要求以引导目标对象倾诉愤怒缘由，还包含如何缓解目标对象情绪的文本如转移目标对象注意力的措施等，还包含沟通情景提供的建议如安静无他人的环境、带有特定音乐氛围的环境等，还包含用户的沟通语调表情的建议如语速、语调、语音强度、微笑等。

本发明实施例提供的一种语言功能训练方法，通过采集当前与用户对话的目标对象的语言信息、面部表情以及肢体动作，根据所述语言信息、面部表情以及肢体动作，确定所述目标对象的情绪特征，以及根据所述语言信息以及情绪特征，确定语言引导训练策略，以使所述用户得以根据所述语言训练引导策略对所述目标对象进行语言引导训练。本发明通过目标对象的面部表情以及肢体动作，结合语言信息以及情绪特征来生成具有针对性的语言引导训练策略，便于对目标对象进行更高效的语言功能训练，同时，可有效降低因措辞情绪不当而给目标对象带来情感伤害的概率发生。

在一个实施例中，如图5所示，一种语言功能训练方法，其与图4所示的方法相比，区别在于：

在本发明实施例中，所述语言功能训练方法还包括以下步骤：

步骤S501，获取视觉范围的目标对象的语言功能反射区图像。

在本发明实施例中，为更方便的获取视觉范围内的目标对象的语言功能反射区图像，可以在信息采集设备的眼框部件的各个方向位置上设置有多个图像信息采集装置，根据所述多个图像信息采集装置的位置信息，将所述多个图像信息采集装置获取的目标对象的语言功能反射区图像经过融合、去重即可获取用户视觉范围内的目标对象的语言功能反射区图像。

在本发明实施例中，语言功能反射区图像一般为足底图像，脚底上包含各个反射区的穴位，具体而言，语言功能反射区包括垂体反射区、肾上腺反射区、肾反射区、输尿管反射区、膀胱反射区、头部反射区、心反射区、肺反射区、胃肠反射区、肩反射区、肘部反射区、髋关节反射区、脊椎反射区、上下颌反射区、甲状旁腺反射区等。通过按摩刺激反射区对应的穴位，可以有效修复语言神经，尤其对于语言障碍患者而言，按摩反射区调理训练是其语言训练必要的辅助手段。

步骤S502，根据所述语言功能反射区图像以及预设的语言功能反射区调理训练标准，在所述语言功能反射区图像中确定待调理训练穴位信息以及所述待调理训练穴位的位置信息。

在本发明实施例中，识别出存在于所述语言功能反射区图像中足底轮廓，进而根据预设的语言功能反射区调理训练标准或者标准足底穴位图，在足底轮廓内确定各个语言功能反射区对应的穴位信息以及对应的位置信息。

在本发明实施例中，预设的语言功能反射区调理训练标准可以是现有的反射区按摩调理标准，也可以是预先通过反射区按摩调理专业人士或者人工智能合成的方式进行设置，在此不做具体限制。

步骤S503，根据所述待调理训练穴位信息在所述语言功能反射区图像中的位置信息显示所述待调理训练穴位信息，以对所述目标对象的语言功能反射区进行调理训练。

本发明实施例提供的一种语言功能训练方法，通过获取视觉范围的目标对象的语言功能反射区图像，根据所述语言功能反射区图像以及预设的语言功能反射区调理训练标准，在所述语言功能反射区图像中确定待调理训练穴位信息以及所述待调理训练穴位的位置信息，根据所述待调理训练穴位信息在所述语言功能反射区图像中的位置信息显示所述待调理训练穴位信息，以对所述目标对象的语言功能反射区进行调理训练。本发明根据所述待调理训练穴位信息在所述语言功能反射区图像中的位置信息显示所述待调理训练穴位信息，使得操作人员能直接在看到语言功能反射区的同时，实时识别出待调理训练穴位信息，便于其进行按摩刺激反射区对应的穴位，有效修复语言神经，从而达到高效语言功能训练效果。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种语言功能训练系统，其特征在于，包括信息采集设备以及与所述信息采集设备通讯的信息处理设备；

所述信息采集设备，用于采集当前与用户对话的目标对象的语言信息、面部表情以及肢体动作；将所述目标对象的语言信息、面部表情以及肢体动作发送至信息处理设备；接收所述信息处理设备反馈的语言引导训练策略，以使所述用户根据所述语言训练引导策略对所述目标对象进行语言引导训练；

所述信息处理设备，用于接收所述信息采集设备发送的目标对象的语言信息、面部表情以及肢体动作；根据所述语言信息、面部表情以及肢体动作，确定所述目标对象的情绪特征；根据所述语言信息以及情绪特征，确定语言引导训练策略；将所述语言引导训练策略反馈至所述信息采集设备；

所述信息采集设备，还用于获取视觉范围的目标对象的语言功能反射区图像；将所述语言功能反射区图像发送至所述信息处理设备；接收待调理训练穴位信息以及位置信息；根据所述待调理训练穴位信息在所述语言功能反射区图像中的位置信息显示所述待调理训练穴位信息，以对所述目标对象的语言功能反射区进行调理训练；

所述信息处理设备，还用于接收所述语言功能反射区图像；根据所述语言功能反射区图像以及预设的语言功能反射区调理训练标准，在所述语言功能反射区图像中确定待调理训练穴位信息以及所述待调理训练穴位的位置信息；将所述待调理训练穴位信息以及位置信息发送至所述信息采集设备；

所述语言功能训练系统还包括穴位按压设备；

所述信息采集设备，还用于获取用户基于目标对象的语言功能反射区设置的可触控幕布的穴位位置信息以及与所述穴位位置信息对应的按压力度信息；将所述穴位位置信息以及按压力度信息发送至所述穴位按压设备；

所述穴位按压设备，与所述信息采集设备通讯，用于接收所述穴位位置信息以及按压力度信息；根据所述按压力度信息，在所述穴位位置信息对应的穴位位置执行按压动作，以对所述目标对象的语言功能反射区进行调理训练；

所述可触控幕布上涉及经纬度或者坐标信息，将所述可触控幕布贴附于目标对象的语言功能反射区，当用户用手指接触所述可触控幕布时，与所述可触控幕布形成电容，得到手指触摸点的经纬度或者坐标信息，若接触位置为对应反射区的穴位位置，则所获得的经纬度或者坐标信息为穴位位置信息；而所述按压力度信息的获取可以通过在所述可触控幕布内设置压力传感器，以用户在穴位位置的按压力度作为穴位位置对应的按压力度信息。

2.根据权利要求1所述的语言功能训练系统，其特征在于，

所述信息采集设备，还用于当根据所述目标对象的语言信息与预设标准发音模型判断所述目标对象的语言信息存在发音错误时，则获取错误音素信息；根据所述错误音素信息，生成发音训练文本。

3.根据权利要求2所述的语言功能训练系统，其特征在于，所述发音训练文本携带有所述错误音素信息对应的发音口型示范；所述语言功能训练系统还包括发音训练设备；

所述发音训练设备，与所述信息采集设备通讯，用于接收所述发音训练文本；展现所述错误音素信息对应的发音口型示范，以供所述目标对象根据所述发音口型示范进行发音训练。

4.根据权利要求3所述的语言功能训练系统，其特征在于，

所述发音训练设备，还用于捕捉并显示所述目标对象的发音口型变化视频；根据所述发音口型变化视频以及发音口型示范，确定发音口型错误处提示，以供所述目标对象根据所述发音口型错误处提示对发音口型进行调整。

5.根据权利要求1所述的语言功能训练系统，其特征在于，

所述信息采集设备显示有若干触控点，用于接收目标对象的语言功能反射区图像；获取用户基于所述触控点对应语言功能反射区图像输入的触控点按压位置信息以及所述触控点对应的按压力度信息，所述触控点按压位置信息为对应穴位位置信息；将所述穴位位置信息以及按压力度信息发送至所述穴位按压设备。

6.一种语言功能训练方法，其特征在于，包括：

采集当前与用户对话的目标对象的语言信息、面部表情以及肢体动作；

根据所述语言信息、面部表情以及肢体动作，确定所述目标对象的情绪特征；

根据所述语言信息以及情绪特征，确定语言引导训练策略，以使所述用户根据所述语言训练引导策略对所述目标对象进行语言引导训练；

所述语言功能训练方法，还包括：

获取视觉范围的目标对象的语言功能反射区图像；

根据所述语言功能反射区图像以及预设的语言功能反射区调理训练标准，在所述语言功能反射区图像中确定待调理训练穴位信息以及所述待调理训练穴位的位置信息；

根据所述待调理训练穴位信息在所述语言功能反射区图像中的位置信息显示所述待调理训练穴位信息，以对所述目标对象的语言功能反射区进行调理训练；

所述语言功能训练方法，还包括：

获取用户基于目标对象的语言功能反射区设置的可触控幕布的穴位位置信息以及与所述穴位位置信息对应的按压力度信息；

根据所述按压力度信息，在所述穴位位置信息对应的穴位位置执行按压动作，以对所述目标对象的语言功能反射区进行调理训练；

所述可触控幕布上涉及经纬度或者坐标信息，将所述可触控幕布贴附于目标对象的语言功能反射区，当用户用手指接触所述可触控幕布时，与所述可触控幕布形成电容，得到手指触摸点的经纬度或者坐标信息，若接触位置为对应反射区的穴位位置，则所获得的经纬度或者坐标信息为穴位位置信息；而所述按压力度信息的获取可以通过在所述可触控幕布内设置压力传感器，以用户在穴位位置的按压力度作为穴位位置对应的按压力度信息。

Images