CN108537178A - 一种智能识别及互动的方法及系统 - Google Patents

一种智能识别及互动的方法及系统 Download PDF

Info

Publication number
CN108537178A
CN108537178A CN201810326487.0A CN201810326487A CN108537178A CN 108537178 A CN108537178 A CN 108537178A CN 201810326487 A CN201810326487 A CN 201810326487A CN 108537178 A CN108537178 A CN 108537178A
Authority
CN
China
Prior art keywords
personage
posture
expression
training set
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810326487.0A
Other languages
English (en)
Inventor
文思
佘堃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810326487.0A priority Critical patent/CN108537178A/zh
Publication of CN108537178A publication Critical patent/CN108537178A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种智能识别及互动的方法及系统，其中方法包括以下步骤：采集包括人物姿态及表情的目标数据，通过深度学习算法对目标数据进行学习，并构建人物模拟操作模型；采集当前人物的姿态及表情数据，并获取目标人物的位置信息；通过人物模拟操作模型生成与当前人物姿态及表情对应形态及表情的投影影像，将投影影像投射至与位置信息对应的位置。

Description

一种智能识别及互动的方法及系统
技术领域
本发明涉及一种智能识别及互动的方法及系统。
背景技术
传统的与孩子交互的装置只能够执行一定预设的操作，不能够自行的对人物动作等进行分析学习，也无法根据人物的动作执行对应的预判动作。尤其是在对孩子的教育教学方面很是欠缺，教学效果差。
发明内容
针对上述技术问题，本发明提供一种能够自主学习分析，可自行执行一定操作，能有效提高对孩子教学效果的的智能识别及互动的方法及系统。
为解决上述技术问题，本发明所采取的技术方案是：提供一种智能识别及互动的方法，包括以下步骤：
采集包括人物姿态及表情的目标数据，通过深度学习算法对所述目标数据进行学习，并构建人物模拟操作模型；
采集当前人物的姿态及表情数据，并获取目标人物的位置信息；
通过所述人物模拟操作模型生成与当前所述人物姿态及表情对应形态及表情的投影影像，将所述投影影像投射至与所述位置信息对应的位置。
本发明采用以上技术方案，达到的技术效果为：本发明提供的智能识别及互动的方法及系统能够对人物的动作进行分析，构建人物模拟操作模型，并根据当前人物的姿态和表情等生成对应的人物姿态和表情的影像，并进行投影，与孩子进行互动。上述方法及系统能够自主学习分析，并与孩子进行互动及交流，能够有效的提高对孩子的教学效果。
较优地，在上述技术方案中，所述通过深度学习算法对所述目标数据进行学习包括以下步骤：
将所述目标数据拆分为若干训练集合测试集；
构建训练集合训练集，获取所述训练集合训练集的特征向量，通过所述特征向量得到训练算法；
通过所述训练集合测试集对所述训练算法进行验证，得到机器算法。
较优地，在上述技术方案中，所述方法还包括：
采集目标人物的语音信息，对所述语音信息进行识别，得到初步识别结果，将所述初步识别结果转换成对应的文字；
根据所述对应文字生成对应的答复文字；
根据所述答复文字生成对应的答复语音，并进行播放。
较优地，在上述技术方案中，所述方法还包括：
根据所述人物模拟操作模型对采集的当前人物姿态即将进行的动作进行预判，并生成预判动作；
将所述预判动作投影至与所述位置信息对应的位置。
本发明还提供了一种智能识别及互动的系统，包括影像采集装置和神经网络分析模块；
所述影像采集装置，用于采集包括人物姿态及表情的目标数据；
采集当前人物的姿态及表情数据，并确定所述当前人物的位置信息；
所述神经网络分析模块，用于通过深度学习算法对所述目标数据进行学习，构建人物模拟操作模型；
通过所述人物模拟操作模型生成与当前所述人物姿态及表情对应形态及表情的投影影像；将所述投影影像投射至与所述位置信息对应的位置。
较优地，在上述技术方案中，所述神经网络分析模块还用于：将所述目标数据拆分为若干训练集合测试集；
构建训练集合训练集，获取所述训练集合训练集的特征向量，通过所述特征向量得到训练算法；
通过所述训练集合测试集对所述训练算法进行验证，得到机器算法。
较优地，在上述技术方案中，所述系统还包括语音采集模块以及语音处理模块；
所述语音采集模块，用于采集目标人物的语音信息；
所述语音处理模块，用于对所述语音信息进行识别，得到初步识别结果，将所述初步识别结果转换成对应的文字；
根据所述对应文字生成对应的答复文字；
根据所述答复文字生成对应的答复语音，并由语音播放模块进行播放。
较优地，在上述技术方案中，所述神经网络分析模块还用于：
根据所述人物模拟操作模型对采集的当前人物姿态即将进行的动作进行预判，并生成预判动作；
将所述预判动作投影至与所述位置信息对应的位置。
附图说明
下面结合附图对本发明作进一步说明：
图1是本发明智能识别及互动的方法的一实施例的示意图；
图2是本发明中深度学习算法的流程图；
图3是本发明智能识别及互动的方法的另一实施例的示意图；
图4是本发明智能识别及互动的方法的另一实施例的示意图；
图5是本发明智能识别及互动的系统的示意性结构图。
具体实施方式
如图1至图4所示，本发明提供的智能识别及互动的方法，包括以下步骤：
采集包括人物姿态及表情的目标数据，通过深度学习算法对目标数据进行学习，并构建人物模拟操作模型；
采集当前人物的姿态及表情数据，并获取目标人物的位置信息；
通过人物模拟操作模型生成与当前人物姿态及表情对应形态及表情的投影影像，将投影影像投射至与位置信息对应的位置。
作为一种可实施方式，通过深度学习算法对目标数据进行学习包括以下步骤：
将目标数据拆分为若干训练集合测试集；
构建训练集合训练集，获取训练集合训练集的特征向量，通过特征向量得到训练算法；
通过训练集合测试集对训练算法进行验证，得到机器算法。
作为一种可实施方式，方法还包括：
采集目标人物的语音信息，对语音信息进行识别，得到初步识别结果，将初步识别结果转换成对应的文字；
根据对应文字生成对应的答复文字；
根据答复文字生成对应的答复语音，并进行播放。
较优地，在上述技术方案中，方法还包括：
根据人物模拟操作模型对采集的当前人物姿态即将进行的动作进行预判，并生成预判动作；
将预判动作投影至与位置信息对应的位置。
如图5所示，本发明还提供了一种智能识别及互动的系统，包括影像采集装置和神经网络分析模块；
影像采集装置，用于采集包括人物姿态及表情的目标数据；
采集当前人物的姿态及表情数据，并确定所述当前人物的位置信息；
神经网络分析模块，用于通过深度学习算法对目标数据进行学习，构建人物模拟操作模型；
通过人物模拟操作模型生成与当前人物姿态及表情对应形态及表情的投影影像；将投影影像投射至与所述位置信息对应的位置。
作为一种可实施方式，神经网络分析模块还用于：将目标数据拆分为若干训练集合测试集；
构建训练集合训练集，获取训练集合训练集的特征向量，通过特征向量得到训练算法；
通过训练集合测试集对训练算法进行验证，得到机器算法。
作为一种可实施方式，系统还包括语音采集模块以及语音处理模块；
语音采集模块，用于采集目标人物的语音信息；
语音处理模块，用于对语音信息进行识别，得到初步识别结果，将初步识别结果转换成对应的文字；
根据对应文字生成对应的答复文字；
根据答复文字生成对应的答复语音，并由语音播放模块进行播放。
作为一种可实施方式，神经网络分析模块还用于：
根据人物模拟操作模型对采集的当前人物姿态即将进行的动作进行预判，并生成预判动作；
将预判动作投影至与所述位置信息对应的位置。
本发明采用以上技术方案，达到的技术效果为：本发明提供的智能识别及互动的方法及系统能够对人物的动作进行分析，构建人物模拟操作模型，并根据当前人物的姿态和表情等生成对应的人物姿态和表情的影像，并进行投影，与孩子进行互动。上述方法及系统能够自主学习分析，并与孩子进行互动及交流，能够有效的提高对孩子的教学效果。
上述实施方式旨在举例说明本发明可为本领域专业技术人员实现或使用，对上述实施方式进行修改对本领域的专业技术人员来说将是显而易见的，故本发明包括但不限于上述实施方式，任何符合本权利要求书或说明书描述，符合与本文所公开的原理和新颖性、创造性特点的方法、工艺、产品，均落入本发明的保护范围之内。

Claims (8)

1.一种智能识别及互动的方法，其特征在于，包括以下步骤：
采集包括人物姿态及表情的目标数据，通过深度学习算法对所述目标数据进行学习，并构建人物模拟操作模型；
采集当前人物的姿态及表情数据，并获取目标人物的位置信息；
通过所述人物模拟操作模型生成与当前所述人物姿态及表情对应形态及表情的投影影像，将所述投影影像投射至与所述位置信息对应的位置。
2.如权利要求1所述的智能识别及互动的方法，其特征在于，所述通过深度学习算法对所述目标数据进行学习包括以下步骤：
将所述目标数据拆分为若干训练集合测试集；
构建训练集合训练集，获取所述训练集合训练集的特征向量，通过所述特征向量得到训练算法；
通过所述训练集合测试集对所述训练算法进行验证，得到机器算法。
3.如权利要求1所述的智能识别及互动的方法，其特征在于，所述方法还包括：
采集目标人物的语音信息，对所述语音信息进行识别，得到初步识别结果，将所述初步识别结果转换成对应的文字；
根据所述对应文字生成对应的答复文字；
根据所述答复文字生成对应的答复语音，并进行播放。
4.如权利要求1所述的智能识别及互动的方法，其特征在于，所述方法还包括：
根据所述人物模拟操作模型对采集的当前人物姿态即将进行的动作进行预判，并生成预判动作；
将所述预判动作投影至与所述位置信息对应的位置。
5.一种智能识别及互动的系统，其特征在于，包括影像采集装置、神经网络分析模块以及影像投射模块；
所述影像采集装置，用于采集包括人物姿态及表情的目标数据；
采集当前人物的姿态及表情数据，并确定所述当前人物的位置信息；
所述神经网络分析模块，用于通过深度学习算法对所述目标数据进行学习，构建人物模拟操作模型；
通过所述人物模拟操作模型生成与当前所述人物姿态及表情对应形态及表情的投影影像；
所述影像投影模块将所述投影影像投射至与所述位置信息对应的位置。
6.如权利要求5所述的智能识别及互动的系统，其特征在于，所述神经网络分析模块还用于：将所述目标数据拆分为若干训练集合测试集；
构建训练集合训练集，获取所述训练集合训练集的特征向量，通过所述特征向量得到训练算法；
通过所述训练集合测试集对所述训练算法进行验证，得到机器算法。
7.如权利要求5所述的智能识别及互动的系统，其特征在于，所述系统还包括语音采集模块以及语音处理模块；
所述语音采集模块，用于采集目标人物的语音信息；
所述语音处理模块，用于对所述语音信息进行识别，得到初步识别结果，将所述初步识别结果转换成对应的文字；
根据所述对应文字生成对应的答复文字；
根据所述答复文字生成对应的答复语音，并由语音播放模块进行播放。
8.如权利要求5所述的智能识别及互动的系统，其特征在于，所述神经网络分析模块还用于：
根据所述人物模拟操作模型对采集的当前人物姿态即将进行的动作进行预判，并生成预判动作；
将所述预判动作投影至与所述位置信息对应的位置。
CN201810326487.0A 2018-04-12 2018-04-12 一种智能识别及互动的方法及系统 Pending CN108537178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810326487.0A CN108537178A (zh) 2018-04-12 2018-04-12 一种智能识别及互动的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810326487.0A CN108537178A (zh) 2018-04-12 2018-04-12 一种智能识别及互动的方法及系统

Publications (1)

Publication Number Publication Date
CN108537178A true CN108537178A (zh) 2018-09-14

Family

ID=63481021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810326487.0A Pending CN108537178A (zh) 2018-04-12 2018-04-12 一种智能识别及互动的方法及系统

Country Status (1)

Country Link
CN (1) CN108537178A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872594A (zh) * 2019-03-20 2019-06-11 西安医学院第二附属医院 一种3d护理情境模拟数字学习系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1702423A (zh) * 2005-05-23 2005-11-30 中国人民解放军总参谋部第六十研究所 热成像型互动射击训练系统
US20130278501A1 (en) * 2012-04-18 2013-10-24 Arb Labs Inc. Systems and methods of identifying a gesture using gesture data compressed by principal joint variable analysis
CN103578135A (zh) * 2013-11-25 2014-02-12 恒德数字舞美科技有限公司 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法
CN105046238A (zh) * 2015-08-17 2015-11-11 华侨大学 一种面部表情机器人多通道信息情感表达映射方法
CN105446953A (zh) * 2015-11-10 2016-03-30 深圳狗尾草智能科技有限公司 一种智能机器人与虚拟3d的交互系统及方法
CN106600668A (zh) * 2016-12-12 2017-04-26 中国科学院自动化研究所 一种与虚拟角色进行互动的动画生成方法、装置及电子设备
CN106648082A (zh) * 2016-12-09 2017-05-10 厦门快商通科技股份有限公司 一种模拟真人互动的智能服务设备及方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN107053191A (zh) * 2016-12-31 2017-08-18 华为技术有限公司 一种机器人，服务器及人机互动方法
CN107291232A (zh) * 2017-06-20 2017-10-24 深圳市泽科科技有限公司 一种基于深度学习与大数据的体感游戏交互方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1702423A (zh) * 2005-05-23 2005-11-30 中国人民解放军总参谋部第六十研究所 热成像型互动射击训练系统
US20130278501A1 (en) * 2012-04-18 2013-10-24 Arb Labs Inc. Systems and methods of identifying a gesture using gesture data compressed by principal joint variable analysis
CN103578135A (zh) * 2013-11-25 2014-02-12 恒德数字舞美科技有限公司 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法
CN105046238A (zh) * 2015-08-17 2015-11-11 华侨大学 一种面部表情机器人多通道信息情感表达映射方法
CN105446953A (zh) * 2015-11-10 2016-03-30 深圳狗尾草智能科技有限公司 一种智能机器人与虚拟3d的交互系统及方法
CN106648082A (zh) * 2016-12-09 2017-05-10 厦门快商通科技股份有限公司 一种模拟真人互动的智能服务设备及方法
CN106600668A (zh) * 2016-12-12 2017-04-26 中国科学院自动化研究所 一种与虚拟角色进行互动的动画生成方法、装置及电子设备
CN107053191A (zh) * 2016-12-31 2017-08-18 华为技术有限公司 一种机器人，服务器及人机互动方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN107291232A (zh) * 2017-06-20 2017-10-24 深圳市泽科科技有限公司 一种基于深度学习与大数据的体感游戏交互方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872594A (zh) * 2019-03-20 2019-06-11 西安医学院第二附属医院 一种3d护理情境模拟数字学习系统

Similar Documents

Publication Publication Date Title
CN107030691B (zh) 一种看护机器人的数据处理方法及装置
CN106851216B (zh) 一种基于人脸和语音识别的课堂行为监控系统及方法
CN107491890A (zh) 一种可量化课堂教学质量评估系统及方法
CN109919434A (zh) 一种基于深度学习的教师课堂表现智能评价方法
Zhang et al. A kinect-based golf swing classification system using hmm and neuro-fuzzy
CN108491808B (zh) 用于获取信息的方法及装置
CN107020632A (zh) 一种教学机器人的控制系统
CN104537926B (zh) 听障儿童语言训练辅助系统及方法
CN204706208U (zh) 智能儿童教育机器人
CN108876676A (zh) 一种基于情景的机器人教学方法及系统
Park et al. Backchannel opportunity prediction for social robot listeners
CN104505089B (zh) 口语纠错方法及设备
CN108537178A (zh) 一种智能识别及互动的方法及系统
CN109166068A (zh) 讨论式学习方法及装置
Gu et al. Online teaching gestures recognition model based on deep learning
CN106251717A (zh) 智能机器人语言跟读学习方法和装置
Rankothge et al. Technology assisted tool for learning skills development in early childhood
Ali et al. Social skills training with virtual assistant and real-time feedback
CN113792626A (zh) 一种基于教师非言语行为的教学过程评价方法
Park et al. Emojive! Collecting Emotion Data from Speech and Facial Expression Using Mobile Game App.
Lin Research on the Teaching Method of College Students’ Education Based on Visual Question Answering Technology
Alwadain et al. Developing computerized speech therapy system using metaheuristic optimized artificial cuckoo immune system
CN106695825B (zh) 一种传话家用服务机器人
Hübert et al. AI based gesture and speech recognition tool flow for educators
Li et al. Inferring Student's Attention in a Machine Learning Approach: A Feasibility Study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180914

RJ01 Rejection of invention patent application after publication