CN105388786B - 一种智能提线木偶偶人控制方法 - Google Patents

Abstract

本发明公开了一种智能提线木偶偶人控制方法，所述智能提线木偶偶人控制方法包括：播放音频，伴随肢体动作；通过语音发送命令，实现对偶人基本动作控制和口语交流；根据提问的指令，联网搜索出答案后将结果反馈；实时进行远程监控，在隐蔽处进行监视保护。本发明将提线木偶和幼教陪护机器人相结合，利用手机、平板电脑或者计算机的客户端实现互动，建立了家长和幼儿的密切联系，更加贴切地实现了幼儿的早教与陪护；提供开放偶人专属定制服务，让陪护更加个性化；将国家非物质文化引入家庭，无形中对用户实现了中华优秀传统文化的熏陶，有助于培养更加健全人格的中华儿女。

Description

一种智能提线木偶偶人控制方法

技术领域

本发明属于陪伴早教技术领域，尤其涉及一种智能提线木偶偶人控制方法。

背景技术

近年来，随着我国人口数量不断增长，随之带来的人口红利消失、生育率降低、出生性别比例失调、人口老龄化和一系列社会经济问题逐渐显露，为了解决我国人口带来的一系列问题，调整人口政策尤其是生育政策迫在眉睫，其中开放二胎政策应运而生。随着二胎政策的陆续开放，我国婴幼儿童的数量即将迎来一个小高峰。并随着我国人民生活水平不断提高，家长越来越关注儿童的身心发育，越来越多的父母认识到了婴幼儿早教和亲情陪护的重要性，据统计，超过95％的家长认为早教对于孩子的未来教育有非常重要的影响，但由于上班工作忙、工作出差和经济压力大等原因，绝大部分家长没有时间亲自为孩子提供早期教育或者陪伴孩子，由此造成孩子的身心发展受到影响等问题日益严重。目前最受家庭欢迎的早教类产品是早教机构、教育图书和电子音像，但是早教机构往往存在着费用高、时间长、甚至安全性得不到保证等诸多不利因素，加上教育图书和电子音像产品本身的局限性，越来越多的家长选择了早教玩具与机器人。

发明内容

本发明将提线木偶和幼教陪护机器人相结合，目的在于提供一种智能提线木偶偶人控制方法，旨在解决现有早教类产品功能单一，智能化程度较低的问题。

本发明是这样实现的，一种智能提线木偶偶人控制方法，所述智能提线木偶偶人控制方法包括：

播放音频，伴随肢体动作；

通过语音发送命令，实现对偶人基本动作控制和口语交流；

根据提问的指令，联网搜索出答案后将结果反馈；

实时进行远程监控，在隐蔽处进行监视保护；

利用手机、平板电脑或者计算机的客户端留言，实现互动。

进一步，所述音频的播放通过MediaPlayer解码并使用SurfaceView显示音频文件，使用MediaPlayer解码并播放音频时，从音频播放的进度中可获取此刻相应的动作指令，拖动进度到某个位置，便可发送相应的动作指令，偶人根据动作指令，做出相应的动作；

所述通过语音发送命令，实现对偶人基本动作控制和口语交流分为语音识别和语音合成两部分；

使用语音识别接口，问答接口和语音合成接口处理结果，生成语音；首先使用语音识别接口识别语音输入，将识别结果使用提供的问答接口获取智能回答，再调用语音生成接口处理返回结果生成语音，得到语音回答。

进一步，所述远程监控分为监控端、被监控端和中间服务器三部分；当被监控端应用启动时，从心跳模块获取指令，如果是开启指令，则后台启动相机，并向中间服务器发送视频流；如果是关闭指令，则停止向中间服务器发送视频流；每一个被监控端对应一个唯一的UUID，用以识别该设备，且其发送的视频流以该UUID识别，当监控端要进行监控时，登录中间服务器并选择监控端，然后点击监控，开始接收视频流以实现实时监控，并修改监控端的监控状态为监控中。

进一步，所述心跳模块是通过在服务器的数据库中维护着一个数据表，该数据表里存放各个设备的状态，数据项包括设备UUID、在线(0/1)、监控(0/1)、信息(0/1)，0代表离线、未监控和无信息；1代表在线、监控中和有信息，心跳模块来读取该设备状态表，并将数据封装为JSON包进行发送。

进一步，所述利用手机、平板电脑或者计算机的客户端留言，实现互动使用audiorecord录制语音，后台使用HTTP协议上传到服务器，服务器经过转发，传送到目的端；目的端接收到信息后，下载语音到本地数据库，用户查看，播放语音；

所述利用手机、平板电脑或者计算机的客户端留言具体包括：

发件人将信息发送到服务器，服务器保存发件人信息、信息内容以及收件人地址，收件人地址默认已转换为设备的UUID，唯一地标识到一个收件人，修改收件人状态表的信息状态位为1；

收件人使用心跳模块检测状态表的状态，当检测到有信息时，提醒收件人收件；

收件人接收到信息提醒后，向服务器提出信息接收请求，服务器查询相关的信息内容，并封装为JSON包发送给收件人，应用端解析JSON包，将数据存入本地数据库，发件人向服务器发送信息并修改状态表信息。

进一步，从网络上下载或搜索本地音频文件，设置背景音乐，并使用动作编排方式进行节目编排，编排完成后，将相应的动作指令和每个指令对应的音频文件的合成文件，封装为一个JSON包，发送到服务器上，共享使用；

背景音乐获取网络资源访问流程为：首先向服务器发送一个HTTP请求，服务器回送一个JSON包，客户端解析JSON包并访问服务器资源，然后进行下载。

本发明的另一目的在于提供一种所述的智能提线木偶偶人控制方法的控制系统，所述控制系统包括：

播放模块，用于播放音频，伴随肢体动作；

交流模块，用于通过语音发送命令，实现对偶人基本动作控制和口语交流；

反馈模块，用于根据提问的指令，联网搜索出答案后将结果反馈；

远程监控模块，用于实时进行远程监控，在隐蔽处进行监视保护；

互动模块，用于利用手机、平板电脑或者计算机的客户端留言，实现互动。

进一步，所述交流模块包括：

语音识别单元，用于使用语音识别接口识别语音输入；

语音合成单元，用于将识别结果使用提供的问答接口获取智能回答，再调用语音生成接口处理返回结果生成语音，得到语音回答。

进一步，所述远程监控模块包括：监控端、被监控端和中间服务器；

监控端和被监控端与中间服务器通讯。

进一步，所述互动模块进一步包括：

信息状态单元，发件人将信息发送到服务器，服务器保存发件人信息、信息内容以及收件人地址，收件人地址默认已转换为设备的UUID，唯一地标识到一个收件人，修改收件人状态表的信息状态位为1；

信息提醒单元，收件人使用心跳模块检测状态表的状态，当检测到有信息时，提醒收件人收件；

状态表信息修改单元，收件人接收到信息提醒后，向服务器提出信息接收请求，服务器查询相关的信息内容，并封装为JSON包发送给收件人，应用端解析JSON包，将数据存入本地数据库，发件人向服务器发送信息并修改状态表信息。

本发明提供的智能提线木偶偶人控制方法，与现有技术相比，具有以下优势：

1、建立了家长和幼儿的密切联系，更加贴切地实现了幼儿的早教与陪护；更加生动形象地实现婴幼儿童早教和陪伴等功能，在增强产品功能的同时给儿童更加快乐的童年；将提线木偶和语音问答相结合，突破了传统提线木偶需要专业演员额外配音的限制，真正赋予了提线木偶生命实现了木偶的活灵活现；通过3D打印技术设计人偶，相比同等尺寸下的传统木偶实现了偶人的眼睛、嘴巴和肢体的运动，提供开放偶人专属定制服务，让陪护更加个性化；将玩具与安全守护相结合，让保护更加隐蔽，当有盗贼入侵时能留下更多的证据，同时也对减轻被监视感有一定的效用；将国家非物质文化引入家庭，无形中对用户实现了中华优秀传统文化的熏陶，有助于培养更加健全人格的中华儿女。

2、本发明既可以讲故事、说国学、讲英语，并利用内置的早教软件进行早教游戏，同时可以推送专业早教机构的学习内容，还能将家长的教育语音和视频进行远程传输，真正意义上实现了幼儿的早教，具有丰富的表演性和观赏性。

3、本发明内置语音识别功能，利用该功能一方面可以实现对本发明中人偶的动作控制，另一方面可以根据该功能进行联网下载曲目、故事等音视频文件进行播放，同时可以通过该功能联网搜索提问者的答案进行人机对话；具有语音传输功能，将内置麦克风采集到的图像和视频传输到配套的手机和平板电脑客户端软件进行远程监控。

4、本发明具有网络摄像头的通用功能，可以将内置摄像头采集到的图像和视频传输到配套的手机和平板电脑客户端软件进行远程监控。

5、本发明利用三维仿真人偶对提线木偶的剧目进行编辑，只需要在触摸屏上拖动三维仿真人偶，即可实现对提线木偶的控制。

附图说明

图1是本发明实施例提供的被监控端工作流程示意图。

图2是本发明实施例提供的监控端工作流程示意图。

图3是本发明实施例提供的语音对讲交互流程示意图。

图4是本发明实施例提供的通信中收件人工作流程示意图。

图5是本发明实施例提供的通过应用端3D模型对偶人做动作控制流程图。

图6是本发明实施例提供的网络资源访问流程示意图。

图7是本发明实施例提供的智能提线木偶偶人控制方法实现流程图。

图8是本发明实施例提供的资源访问的实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

本发明的智能提线木偶偶人控制方法实现的功能如下：

能歌能舞：本发明可以通过海量精选内容给小孩讲故事、说国学和读英语等实现婴幼儿童的早教，在播放相关音频的同时偶人还会伴随嘴巴、眼睛和肢体的动作，在强化早教效果的同时利用产品的趣味性陪伴度过童年的快乐时光，间接减少了看电视、打游戏和玩手机的时间，保护孩童的视力。

音频播放：主要是通过MediaPlayer解码并使用SurfaceView显示音频文件。使用MediaPlayer解码并播放音频时，从音频播放的进度中可获取此刻相应的动作指令，拖动进度到某个位置，便可发送相应的动作指令给偶人，偶人根据动作指令，做出相应的动作，视频的实现过程类似。

语音控制：为了增强本发明的人机交互性及娱乐性和趣味性，特增加了语音控制功能。用户只需要通过语音向本发明发送命令，即可实现对偶人的基本动作控制，产品联网后可以实现偶人唱歌、讲故事的指令控制。采用语音控制的方式更接近真实人类交互，有助于培养儿童开朗乐观的性格。语音控制功能的实现主要分为语音识别和语音合成两部分来实现。语音识别和语音合成技术是现在技术研究的一大热点，与机器人、偶人交流，相比于文字交流，人们往往更喜欢进行语言交流，这就使得该技术的发展如火如荼。本发明主要使用语音识别接口，问答接口和语音合成接口处理结果，生成语音。首先使用语音识别接口识别语音输入，将识别结果使用提供的问答接口获取智能回答，再调用语音生成接口处理返回结果生成语音，得到语音回答，从而人说一言、偶对一语的人偶交流。

该模块不仅仅可以用于语音发送指令指导偶人做相应的任务，也可以用于英语学习，面对面的口语交流对于孩子英语口语的学习有极大的帮助，从而提高孩子的英语学习兴趣。

智能问答：功能实现了百科全书、“十万个为什么”和聊天功能。用户向偶人提问，偶人联网搜索出答案后将结果反馈给用户，对于家长经常在外忙碌、缺少木府陪伴的儿童，本发明可以实现对儿童的简单教育作用，同时用户也可以和偶人进行对话聊天，避免了儿童用户和老人用户的孤独，防止抑郁。

安全守护：通过摄像头实时进行远程监控，在隐蔽处进行监视保护。一方面家人、客人不会有被监视的感觉，而小偷则完全不知道自己被监视了，更好地保护家庭；另一方面，当父母和小孩不在一起的时候，不论是晚上睡觉、上班还是出差，都可以实时看到孩子的动态，让父母安心。实时远程监控功能的实现，本发明将该功能模块分为监控端、被监控端和中间服务器三部分来实现。当被监控端应用启动时，从心跳模块获取指令，如果是开启指令，则后台启动相机，并向中间服务器发送视频流；如果是关闭指令，则停止向中间服务器发送视频流。每一个被监控端对应一个唯一的UUID，用以识别该设备，且其发送的视频流以该UUID识别，因此，每一个被监控端对应的视频流都是独有的。当监控端要进行监控时，登录中间服务器并选择监控端，然后点击监控，开始接收视频流以实现实时监控，并修改监控端的监控状态为监控中。这里使用Nginx和RTMP完成视频流的传送。被监控端工作流程如图1所示，具体包括：

S101：启动应用；

S102：从heartbeat模块获取指令；

S103：如果是开启指令，则后台启动相机执行S104，如果是关闭指令，则执行S105；

S104：发送视频流到中间服务器；

S105：停止视频流的发送。

监控端工作流程图如图2所示，具体包括：

S201：登录并选择监控流；

S202：对监控流是否存在，做出判断，存在，执行步骤S203；不存在，返回步骤S201；

S203：点击监控，发送指令；

S204：修改被监控端的控制状态；

S205：接收监控视频流。

如图7所示，本发明实施例的智能提线木偶偶人控制方法实现流程，包括以下步骤：

S701：等待接收功能指令；

S702：对是否执行指令做出判断，执行指令，则执行步骤S703；不执行指令，则执行步骤S701；

S703：对是否为关机指令做出判断，是关机指令，则结束；不是关机指令，则执行步骤S704；

S704：执行功能指令；

S705：对是否执行完毕，做出判断；执行完毕，则返回步骤S701；未完毕，则返回步骤S704。

实时远程监控模块的实现，还依赖于一个心跳模块的实现。本发明中Heartbeat模块的实现，主要是通过在服务器的数据库中维护着一个数据表，该数据表里存放各个设备的状态，数据项包括设备UUID、在线(0/1)、监控(0/1)、信息(0/1)，0代表离线、未监控和无信息；1代表在线、监控中和有信息。心跳模块来读取该设备状态表，并将数据封装为JSON包进行发送。

通过设置这个表格，并通过心跳的方式检查该表的信息，便于实时监控设备的状态。

语音对讲：如图3所示，父母可以利用手机、平板电脑或者计算机的客户端通过本发明给儿童留言实现对孩子的关爱或者提醒孩子写作业等，小孩也可以通过本发明直接给父母留言，父母打开客户端后即可接收。同样在播放语音留言的时候偶人会做出相应的动作，无论走到哪里，家人沟通零距离。

如图3所示，语音对讲具体包括：

S301：录制语音；

S302：上传到服务器；

S303：读取消息请求；

S304：消息到达提醒和下载消息到本地数据库；

S305：消息到达提醒和下载消息到本地数据库；

S306：读取消息请求；

S307：解析消息；

S308：回复否则结束；回复是则返回步骤S301；

S309：解析步骤S304下载的信息；

S310：回复否则结束；回复是则返回步骤S311；

S311：录制语音；

S312：上传到服务器。

本发明中，父母或孩子使用audiorecord录制语音，后台使用HTTP协议上传到服务器，服务器经过转发，传送到目的端；目的端接收到信息后，下载语音到本地数据库，用户查看，播放语音。

本发明的通信/留言部分依赖于信息交互模块的实现，留言内容可以是文字，也可以是语音等。通信可以理解为一种即时的留言，而通信又可以分为两部分，发件和收件，两个过程只是方向上的不同，本质是没有区别的，所以下面仅以通信的发信息的过程进行说明。发件人将信息发送到服务器，服务器保存发件人信息、信息内容以及收件人地址，这里的收件人地址默认已转换为设备的UUID，唯一地标识到一个收件人，修改收件人状态表的信息状态位为1。收件人也不断使用心跳模块检测状态表的状态，当检测到有信息时，提醒收件人收件。收件人接收到信息提醒后，向服务器提出信息接收请求，服务器查询相关的信息内容，并封装为JSON包发送给收件人，应用端解析JSON包，将数据存入本地数据库。发件人向服务器发送信息并修改状态表信息，收件人工作流程如图4所示，具体包括：

S401：心跳模块检测到信息；

S402：点击接收信息；

S403：接收服务器返回的JSON包并解析；

S404：将信息内容保存到本地数据库；

S405：从本地数据库中查看信息内容。

自定义节目：内置专用提线木偶节目编辑软件，采用三维仿真人偶模型，只需在触摸显示屏上拖动三维仿真人偶模型设置动作即可实现本发明偶人做出相应动作，此外语音控制功能可以辅助控制偶人动作，同时可以添加背景音乐等完成节目编排，并将自己编排的节目上传至公司网站与别人分享。

本发明应用端配有一个和实际偶人一样的三维模型，通过手动控制该模型可以实现控制偶人，比如移动模型的手臂，偶人就会同样的移动手臂。偶人的3D模型信息存储在一个OBJ文件中，分析该OBJ文件，并用OpenGL解析并展示，这样每当用户转动模型的部分肢体，根据转动的角度，转换成指令，通过蓝牙控制偶人的肢体随之转动。使用该模块可助于实现偶人动作的灵活控制，控制流程如图5所示；具体包括：

S501：转动3D模型；

S502：计算转动角度；

S503：封装为控制指令；

S504：对偶人进行控制。

从网络上下载或搜索本地音频文件，设置背景音乐，并使用上面的动作编排方式进行节目编排，编排完成后，将相应的动作指令和每个指令对应的音频文件的合成文件，封装为一个JSON包，发送到服务器上，共享给所有人使用。其中，背景音乐的获取依赖于资源访问模块的实现。本发明可以实现本地资源和网络资源的访问，访问本地资源，搜索查找到文件访问即可；访问网络资源，需要先下载到本地，再进行访问。

网络资源访问流程为：首先向服务器发送一个HTTP请求，服务器回送一个JSON包，客户端解析JSON包并访问服务器资源，然后进行下载，流程如图6和图8所示。

如图6所示，具体步骤包括：

S601：向服务器发送资源访问请求；

S602：接收服务器回送的JSON包；

S603：解析JSON包并访问服务器资源；

S604：下载所需资源到本地。

如图8所示，具体步骤包括：

S801：进入资源访问有关功能；

S802：判断是否为本地资源，是本地资源，则执行步骤S804；不是本地资源，则执行步骤S803；

S803：下载网络资源到本地；

S804:访问本地资源。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种智能提线木偶偶人控制方法，其特征在于，所述智能提线木偶偶人控制方法包括：

播放音频，伴随肢体动作；

通过语音发送命令，实现对偶人基本动作控制和口语交流；

根据提问的指令，联网搜索出答案后将结果反馈；

实时进行远程监控，在隐蔽处进行监视保护；

利用手机、平板电脑或者计算机的客户端留言，实现互动；

所述音频的播放通过MediaPlayer解码并使用SurfaceView显示音频文件，使用MediaPlayer解码并播放音频时，从音频播放的进度中获取此刻相应的动作指令，拖动进度到某个位置，便发送相应的动作指令，根据动作指令，偶人做出相应的动作；

所述通过语音发送命令，实现对偶人基本动作控制和口语交流分为语音识别和语音合成两部分；

使用语音识别接口，问答接口和语音合成接口处理结果，生成语音；首先使用语音识别接口识别语音输入，将识别结果使用提供的问答接口获取智能回答，再调用语音生成接口处理返回结果生成语音，得到语音回答；

所述远程监控分为监控端、被监控端和中间服务器三部分；当被监控端应用启动时，从心跳(Heartbeat)模块获取指令，如果是开启指令，则后台启动相机，并向中间服务器发送视频流；如果是关闭指令，则停止向中间服务器发送视频流；每一个被监控端对应一个唯一的UUID，用以识别该设备，且其发送的视频流以该UUID标识，当监控端要进行监控时，登录中间服务器并选择监控端，然后点击监控，开始接收视频流以实现实时监控，并修改监控端的监控状态为监控中。

2.如权利要求1所述的智能提线木偶偶人控制方法，其特征在于，所述心跳模块是通过在服务器的数据库中维护着一个数据表，该数据表里存放各个设备的状态，数据项包括设备UUID、在线(0/1)、监控(0/1)、信息(0/1)，0代表离线、未监控和无信息；1代表在线、监控中和有信息，心跳模块来读取该设备状态表，并将数据封装为JSON包进行发送。

3.如权利要求1所述的智能提线木偶偶人控制方法，其特征在于，所述利用手机、平板电脑或者计算机的客户端留言，实现互动使用audiorecord录制语音，后台使用HTTP协议上传到服务器，服务器经过转发，传送到目的端；目的端接收到信息后，下载语音到本地数据库，用户查看，播放语音；

所述利用手机、平板电脑或者计算机的客户端留言具体包括：

发件人将信息发送到服务器，服务器保存发件人信息、信息内容以及收件人地址，收件人地址默认已转换为设备的UUID，唯一地标识到一个收件人，修改收件人状态表的信息状态位为1；

收件人使用心跳模块检测状态表的状态，当检测到有信息时，提醒收件人收件；

收件人接收到信息提醒后，向服务器提出信息接收请求，服务器查询相关的信息内容，并封装为JSON包发送给收件人，应用端解析JSON包，将数据存入本地数据库，发件人向服务器发送信息并修改状态表信息。

4.如权利要求3所述的智能提线木偶偶人控制方法，其特征在于，从网络上下载或搜索本地音频文件，设置背景音乐，并使用动作编排方式进行节目编排，用户自编辑动作或从动作库中选择现有动作，编排完成后，将相应的动作指令和每个指令对应的音频文件的合成文件，封装为一个JSON包，发送到服务器上，共享使用；

背景音乐获取网络资源访问流程为：首先向服务器发送一个HTTP请求，服务器回送一个JSON包，客户端解析JSON包并访问服务器资源，然后进行下载。

5.一种如权利要求1所述的智能提线木偶偶人控制方法的控制系统，其特征在于，所述控制系统包括：

播放模块，用于播放音频，伴随肢体动作；

交流模块，用于通过语音发送命令，实现对偶人基本动作控制和口语交流；

反馈模块，用于根据提问的指令，联网搜索出答案后将结果反馈；

远程监控模块，用于实时进行远程监控，在隐蔽处进行监视保护；

互动模块，用于利用手机、平板电脑或者计算机的客户端留言，实现互动；

所述交流模块包括：

语音识别单元，用于使用语音识别接口识别语音输入；

语音合成单元，用于将识别结果使用提供的问答接口获取智能回答，再调用语音生成接口处理返回结果生成语音，得到语音回答；

所述远程监控模块包括：监控端、被监控端和中间服务器；

监控端和被监控端与中间服务器通讯；

所述互动模块进一步包括：

信息状态单元，发件人将信息发送到服务器，服务器保存发件人信息、信息内容以及收件人地址，收件人地址默认已转换为设备的UUID，唯一地标识到一个收件人，修改收件人状态表的信息状态位为1；

信息提醒单元，收件人使用心跳模块检测状态表的状态，当检测到有信息时，提醒收件人收件；

状态表信息修改单元，收件人接收到信息提醒后，向服务器提出信息接收请求，服务器查询相关的信息内容，并封装为JSON包发送给收件人，应用端解析JSON包，将数据存入本地数据库，发件人向服务器发送信息并修改状态表信息。