CN111145604A - 绘本识别方法、装置及计算机可读存储介质 - Google Patents
绘本识别方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111145604A CN111145604A CN201911398927.4A CN201911398927A CN111145604A CN 111145604 A CN111145604 A CN 111145604A CN 201911398927 A CN201911398927 A CN 201911398927A CN 111145604 A CN111145604 A CN 111145604A
- Authority
- CN
- China
- Prior art keywords
- picture book
- identification
- recognition
- picture
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种绘本识别方法，该绘本识别方法应用于绘本识别装置，该绘本识别方法包括：接收识别开启指令；根据所述识别开启指令获取绘本特征信息；对所述绘本特征信息进行识别，得到绘本识别结果；对所述绘本识别结果进行播放。本发明还公开了一种绘本识别装置和一种计算机可读存储介质。本发明能够提高早教机的交互功能，能够提高早教机识别的准确性，能够节省早教机的识别时间。
Description
技术领域
本发明涉及智能机器人技术领域，尤其涉及绘本识别方法、装置及计算机可读存储介质。
背景技术
随着技术的发展，智能化教育产品越来越受到家长的认可和重视，早教机器人就是专门为儿童早期教育而研发的，早教机器人能够促进孩子学习兴趣的教育类电子产品，它既是一款玩具，也是孩子探索世界获取知识的一个工具。早教机器人可以包含自然科学常识、英语数学各学科知识、潜能开发、亲子互动、娱乐游戏等很多主体模块，在儿童游戏的过程中，全方位培养他们的学习能力、思维能力、运动能力、想象力、语言表达能力等等。
目前，市场上早教机器人的功能还是比较单一，当前市场上的早教机基本是按键式或点读式，人机交互方式较为传统，即早教机单纯的讲故事，儿童被动的听故事；尤其是人机交互方面不够人性化、智能化，不能切实考虑使用者的使用习惯及爱好，无法唤起儿童的兴趣。
发明内容
本发明的主要目的在于提出一种绘本识别方法、装置及计算机可读存储介质，旨在提高早教机的交互功能，提高早教机识别的准确性。
为实现上述目的，本发明提供一种绘本识别方法，所述绘本识别方法应用于绘本识别装置，所述绘本识别方法包括如下步骤：
接收识别开启指令；
根据所述识别开启指令获取绘本特征信息；
对所述绘本特征信息进行识别，得到绘本识别结果；
对所述绘本识别结果进行播放。
可选地，所述对所述绘本特征信息进行识别，得到绘本识别结果的步骤，包括：
检测是否与互联网连接；
若与互联网连接，则将所述绘本特征信息发送至服务器；
接收所述服务器根据所述绘本特征信息返回的网络绘本识别结果；
根据所述绘本特征信息进行识别，得到本地绘本识别结果；
检测生成所述网络绘本识别结果的时长是否小于生成所述本地绘本识别结果的时长；
若生成所述网络绘本识别结果的时长是小于生成所述本地绘本识别结果的时长，则将所述网络识别结果作为绘本识别结果。
可选地，所述检测生成所述网络绘本识别结果的时长是否小于生成所述本地绘本识别结果的时长的步骤之后，包括：
若生成所述网络绘本识别结果的时长是大于或等于生成所述本地绘本识别结果的时长，则将本地绘本识别结果作为绘本识别结果。
可选地，所述对所述绘本特征信息进行识别，得到绘本识别结果的步骤之后，包括：
接收用户发出的识别干预指令；
根据所述识别干预指令干预所述绘本识别结果；
所述对所述绘本识别结果进行播放的步骤，包括：
对干预后的所述绘本识别结果进行播放。
可选地，所述接收识别开启指令的步骤之后，包括：
所述绘本识别装置发出视频播放选择指令；
获取用户根据所述视频播放选择指令返回的开启视频播放指令；
根据所述开启视频播放指令开启视频播放功能。
可选地，所述接收识别开启指令的步骤之前，包括：
接收用户发出的功能开启指令；
对所述功能开启指令进行预处理，得到预处理开启指令；
检测所述预处理开启指令是否与预设开启信息相同；
若所述预处理开启指令与预设开启信息相同，则执行预处理开启指令。
可选地，所述若所述预处理开启指令与预设开启信息相同，则执行预处理开启指令的步骤之后，包括：
通过声源定位算法识别所述功能开启指令，得到用户位置信息；
根据所述用户位置信息移动所述绘本识别装置。
可选地，所述对所述功能开启指令进行预处理，得到预处理开启指令的步骤，包括：
读取所述功能开启指令中的声音能量信息和声音频率信息；
检测所述声音能量信息是否大于预设能量信息；
若所述声音能量信息是否于预设能量信息，则检测所述声音频率信息是否在预设频率范围内；
若所述声音频率信息在预设频率范围内，则对所述功能开启指令进行降噪处理和回声消除处理，得到预处理开启指令。
此外，为实现上述目的，本发明还提供一种绘本识别装置，所述绘本识别装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的绘本识别程序，所述绘本识别程序被所述处理器执行时实现如上所述的绘本识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有绘本识别程序，所述绘本识别程序被处理器执行时实现如上所述的绘本识别方法的步骤。
本发明提供了一种绘本识别方法、装置及计算机可读存储介质，所述绘本识别装置能够接收用户发出的识别开启指令；根据所述识别开启指令获取绘本特征信息；对所述绘本特征信息进行识别，得到绘本识别结果；对所述绘本识别结果进行播放。通过上述方式，本发明能够提高早教机的交互功能，能够提高早教机识别的准确性，能够节省早教机的识别时间。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明绘本识别方法第一实施例的流程示意图；
图3为本发明绘本识别方法第二实施例的流程示意图；
图4为本发明绘本识别方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：接收识别开启指令；根据所述识别开启指令获取绘本特征信息；对所述绘本特征信息进行识别，得到绘本识别结果；对所述绘本识别结果进行播放。
现有的早教机器人的功能还是比较单一，当前市场上的早教机基本是按键式或点读式，人机交互方式较为传统，即早教机单纯的讲故事，儿童被动的听故事；尤其是人机交互方面不够人性化、智能化，不能切实考虑使用者的使用习惯及爱好，无法唤起儿童的兴趣。
本发明提高早教机的交互功能，提高早教机识别的准确性。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是PC，也可以是智能手机、平板电脑等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
优选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及绘本识别程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的绘本识别程序，并执行以下操作：
接收识别开启指令；
根据所述识别开启指令获取绘本特征信息；
对所述绘本特征信息进行识别，得到绘本识别结果；
对所述绘本识别结果进行播放。
进一步地，处理器1001可以调用存储器1005中存储的绘本识别程序，还执行以下操作：
检测是否与互联网连接；
若与互联网连接，则将所述绘本特征信息发送至服务器；
接收所述服务器根据所述绘本特征信息返回的网络绘本识别结果；
根据所述绘本特征信息进行识别，得到本地绘本识别结果；
检测生成所述网络绘本识别结果的时长是否小于生成所述本地绘本识别结果的时长；
若生成所述网络绘本识别结果的时长是小于生成所述本地绘本识别结果的时长，则将所述网络识别结果作为绘本识别结果。
进一步地，处理器1001可以调用存储器1005中存储的绘本识别程序，还执行以下操作：
若生成所述网络绘本识别结果的时长是大于或等于生成所述本地绘本识别结果的时长，则将本地绘本识别结果作为绘本识别结果。
进一步地，处理器1001可以调用存储器1005中存储的绘本识别程序，还执行以下操作：
接收用户发出的识别干预指令；
根据所述识别干预指令干预所述绘本识别结果；
所述对所述绘本识别结果进行播放的步骤，包括：
对干预后的所述绘本识别结果进行播放。
进一步地，处理器1001可以调用存储器1005中存储的绘本识别程序，还执行以下操作：
所述绘本识别装置发出视频播放选择指令；
获取用户根据所述视频播放选择指令返回的开启视频播放指令；
根据所述开启视频播放指令开启视频播放功能。
进一步地，处理器1001可以调用存储器1005中存储的绘本识别程序，还执行以下操作：
接收用户发出的功能开启指令；
对所述功能开启指令进行预处理，得到预处理开启指令；
检测所述预处理开启指令是否与预设开启信息相同；
若所述预处理开启指令与预设开启信息相同，则执行预处理开启指令。
进一步地，处理器1001可以调用存储器1005中存储的绘本识别程序，还执行以下操作：
通过声源定位算法识别所述功能开启指令，得到用户位置信息；
根据所述用户位置信息移动所述绘本识别装置。
进一步地，处理器1001可以调用存储器1005中存储的绘本识别程序，还执行以下操作：
读取所述功能开启指令中的声音能量信息和声音频率信息；
检测所述声音能量信息是否大于预设能量信息；
若所述声音能量信息是否于预设能量信息，则检测所述声音频率信息是否在预设频率范围内；
若所述声音频率信息在预设频率范围内，则对所述功能开启指令进行降噪处理和回声消除处理，得到预处理开启指令。
基于上述硬件结构，提出本发明绘本识别方法实施例。
本发明绘本识别方法。
参照图2，图2为本发明绘本识别方法第一实施例的流程示意图。
本发明实施例中，该绘本识别方法应用于绘本识别装置，所述绘本识别方法包括：
步骤S10，接收识别开启指令；
在本实施例中，绘本识别装置开启之后，当用户需要通过绘本识别装置开启绘本识别的功能，用户向绘本识别装置发出识别开启指令，绘本识别装置接收到用户发出的识别开启指令。绘本识别装置可以是用于培养儿童学习兴趣的智能机器人，绘本识别装置也可以是用于培养儿童学习兴趣的移动终端，绘本识别装置还可以是用于培养儿童学习兴趣的固定终端。识别开启指令可以是用户想开启绘本识别装置的绘本识别功能而触发的，具体可以是用户通过在离绘本识别装置一定的距离内，向绘本识别装置说出固定的词语而触发的，这些固定的词语可以是绘本、开启绘本、绘本指令、图片识别、图片等中的一种。
步骤S10接收识别开启指令之后，包括：
步骤a1，所述绘本识别装置发出视频播放选择指令；
步骤a2，获取用户根据所述视频播放选择指令返回的开启视频播放指令；
步骤a3，根据所述开启视频播放指令开启视频播放功能。
在本实施例中，当绘本识别装置接收到识别开启指令之后，绘本识别装置通过语音播报的方式向视频播放选择指令，用户在听到绘本识别装置播放的视频播放选择指令之后，用户通过语音说话的方式对绘本识别装置发出开启视频播放指令，绘本识别装置在接收到用户根据视频播放选择指令返回的开启视频播放指令之后，绘本识别装置根据开启视频播放指令开启视频播放功能；其中，视频播放选择指令可以是绘本识别装置播放的“需要选择开启AR功能吗？”；开启视频播放指令可以是用户说的语音，如“开启AR功能”。
步骤S10接收识别开启指令之后，可以包括：
步骤b，对所述识别开启指令进行预处理，得到预处理过后的识别开启指令。
在本实施例中，绘本识别装置在得到识别开启指令之后，绘本识别装置读取识别开启指令中识别声音能量信息和识别声音频率信息。其中，识别声音能量信息为用户说话时的音量大小，即用户说话时的分贝大小；识别声音频率信息为用户说话时声音的频率范围。当绘本识别装置在获取到识别声音能量信息之后，绘本识别装置检测识别声音能量信息是否大于预设能量信息，其中，识别预设能量信息可以是一个固定值，如10分贝、20分贝或30分贝；识别预设能量信息也可以是绘本识别装置检测周围环境声音的大小；还可以是比绘本识别装置检测周围环境声音高一定分贝的值。当绘本识别装置检测到识别声音能量信息否大于识别预设能量信息，绘本识别装置检测识别声音频率信息是否在识别预设频率范围内。其中，识别预设频率范围为人们说话时能听到的声音，一般是20Hz-20KHz。当绘本识别装置检测到识别声音频率信息在识别预设频率范围内时，绘本识别装置对接收到的识别开启指令进行降噪处理和回升消除处理，得到预处理过后的识别开启指令。
步骤S20，根据所述识别开启指令获取绘本特征信息；
在本实施例中，当绘本识别装置接收到用户发出的识别开启指令，用户将想要学习的绘本置于绘本识别装置的摄像头拍摄范围，并将想要学习的绘本的正面对着摄像头，绘本识别装置通过摄像头获取用户想学习的绘本，绘本识别装置获取到绘本特征信息。其中，绘本特征信息可以是通过摄像头拍摄到的绘本的封面，绘本特征信息也可以是用过摄像头拍摄到的绘本的内容，绘本特征信息还可以是通过摄像头拍摄到的物体照片或物体视频，绘本特征信息还可以是通过摄像头拍摄到的其它类别的图片。
步骤S30，对所述绘本特征信息进行识别，得到绘本识别结果；
在本实施例中，当用绘本识别装置获取到绘本特征信息之后，绘本识别装置对绘本特征信息进行识别，绘本识别装置得到绘本识别结果。其中，绘本识别结果可以是摄像头拍摄到的绘本是那个绘本读物，绘本识别结果也可以是摄像头拍摄到的绘本是那个绘本读物的那一页哪一行。
作为一种实施方式，在本实施例中，当用绘本识别装置获取到绘本特征信息之后，绘本识别装置将绘本特征信息通过互联网发送至服务器中，服务器在接收到绘本特征信息之后，服务器根据绘本特征信息在服务器本地查找与绘本特征信息对应的绘本识别结果。服务器根据绘本特征信息在服务器本地查找与绘本特征信息对应的绘本识别结果之后，服务器将绘本识别结果发送至绘本识别装置。
步骤S40，对所述绘本识别结果进行播放。
在本实施例中，当绘本识别装置得到绘本识别结果之后，绘本识别装置通过音箱装置播放对应的绘本读物，或者，绘本识别装置通过显示屏显示对应的绘本读物的动画内容；其中，动画内容可以是2D动画，动画内容也可以3D动画，动画内容还可以是基于AR技术的3D视频动画。
步骤S30对所述绘本特征信息进行识别，得到绘本识别结果之后，或，步骤S40对所述绘本识别结果进行播放之后，可以包括：
步骤c1，接收用户发出的识别干预指令；
步骤c2，根据所述识别干预指令干预所述绘本识别结果；
步骤S30对所述绘本识别结果进行播放，可以包括：
步骤d，对干预后的所述绘本识别结果进行播放。
在本实施例中，绘本识别装置在对绘本读物的内容识别并进行播放之后，用户需要干预绘本读物的播放，用户通过语音对绘本识别装置说干预绘本识别装置播放的词语，绘本识别装置对用户说出的话进行识别并解析之后，绘本识别装置生成识别干预指令，绘本识别装置根据识别干预指令干预绘本读物识别结果，绘本识别装置并对干预后的绘本识别结果进行播放。其中，识别干预指令是用户在对绘本识别装置说了干预、干预绘本等话之后产生的。
作为一种实施方式，在本实施例中，绘本识别装置在对绘本读物的内容识别并进行播放之后，用户需要干预绘本读物的播放，用户触摸绘本识别装置的显示屏，用户根据在显示屏触摸的位置生成识别干预指令，绘本识别装置根据识别干预指令干预绘本读物识别结果，绘本识别装置并对干预后的绘本识别结果进行播放。其中，识别干预指令是用户在具有AR功能的对绘本识别装置的3D显示屏触摸相应的位置之后产生的。如，显示屏在显示有一只老虎之后，用户点击显示屏中的老虎，绘本识别装置会发出老虎的叫声，并说一个老虎的习性和老虎的英文单词。
本实施例通过上述方案，接收识别开启指令；根据所述识别开启指令获取绘本特征信息；对所述绘本特征信息进行识别，得到绘本识别结果；对所述绘本识别结果进行播放。由此，通过对绘本特征信息进行识别，提高了早教机的交互功能，提高了早教机识别的准确性，节省了早教机的识别时间。
进一步地，参照图3，图3为本发明绘本识别方法第二实施例的流程示意图。基于上述图2所示的实施例，步骤S30对所述绘本特征信息进行识别，得到绘本识别结果，可以包括：
步骤S31，检测是否与互联网连接；
在本实施例中，绘本识别装置在获取到绘本特征信息之后，绘本识别装置检测绘本识别装置是否可以连接互联网，能否将绘本特征信息发送至服务器中。
步骤S31检测是否与互联网连接之后，可以包括：
若未与互联网连接，则执行：对绘本特征信息进行识别，得到绘本识别结果。
在本实施例中，当绘本识别装置检测到绘本识别装置不能连接互联网，则绘本特征信息智能通过本地进行识别，绘本识别装置对绘本特征信息进行识别，绘本识别装置得到绘本识别结果。
步骤S32，若与互联网连接，则将所述绘本特征信息发送至服务器；
在本实施例中，当绘本识别装置检测到绘本识别装置能连接互联网，绘本识别装置将绘本特征信息通过互联网发送至服务器中。服务器在接收到绘本特征信息之后，服务器根据绘本特征信息在服务器本地查找与绘本特征信息对应的网络绘本识别结果。
步骤S33，接收所述服务器根据所述绘本特征信息返回的网络绘本识别结果；
在本实施例中，服务器根据绘本特征信息在服务器本地查找与绘本特征信息对应的网络绘本识别结果之后，服务器将网络绘本识别结果发送至绘本识别装置，绘本识别装置接收服务器根据绘本特征信息返回的网络绘本识别结果。
步骤S34，根据所述绘本特征信息进行识别，得到本地绘本识别结果；
在本实施例中，当绘本识别装置在获取到绘本特征信息之后，绘本识别装置对绘本特征信息进行识别，绘本识别装置得到本地绘本识别结果。
步骤S35，检测生成所述网络绘本识别结果的时长是否小于生成所述本地绘本识别结果的时长；
在本实施例中，当绘本识别装置得到网络绘本识别结果和本地绘本识别结果之后，绘本识别装置将生成网络绘本识别结果的时长和生成本地绘本识别结果的时长进行比较，检测生成网络绘本识别结果的时长是否小于生成本地绘本识别结果的时长。
步骤S35检测生成所述网络绘本识别结果的时长是否小于生成所述本地绘本识别结果的时长之后，可以包括：
步骤e，若生成所述网络绘本识别结果的时长是大于或等于生成所述本地绘本识别结果的时长，则将本地绘本识别结果作为绘本识别结果。
在本实施例中，在绘本识别装置将生成网络绘本识别结果的时长和生成本地绘本识别结果的时长进行比较之后，当绘本识别装置检测到生成网络绘本识别结果的时长是大于或等于生成本地绘本识别结果的时长，绘本识别装置将本地绘本识别结果作为绘本识别结果进行存储。
步骤S56，若生成所述网络绘本识别结果的时长是小于生成所述本地绘本识别结果的时长，则将所述本地绘本识别结果作为绘本识别结果。
在本实施例中，在绘本识别装置将生成网络绘本识别结果的时长和生成本地绘本识别结果的时长进行比较之后，当绘本识别装置检测到生成网络绘本识别结果的时长是小于生成本地绘本识别结果的时长，绘本识别装置将网络绘本识别结果作为绘本识别结果进行存储。
本实施例通过上述方案，接收识别开启指令；根据所述识别开启指令获取绘本特征信息；检测是否与互联网连接；若与互联网连接，则将所述绘本特征信息发送至服务器；接收所述服务器根据所述绘本特征信息返回的网络绘本识别结果；根据所述绘本特征信息进行识别，得到本地绘本识别结果；检测生成所述网络绘本识别结果的时长是否小于生成所述本地绘本识别结果的时长；若生成所述网络绘本识别结果的时长是小于生成所述本地绘本识别结果的时长，则将所述网络识别结果作为绘本识别结果；对所述绘本识别结果进行播放。由此，提高了早教机的交互功能，提高了早教机识别的准确性，节省了早教机的识别时间。
进一步地，参照图4，图4为本发明绘本识别方法第三实施例的流程示意图。基于上述图3所示的实施例，步骤S10接收识别开启指令之前，可以包括：
步骤S50，接收用户发出的功能开启指令；
在本实施例中，用户在启用绘本识别功能之前，用户需要开启绘本识别装置，用户对绘本识别装置说开启装置的词语，绘本识别装置根据用户说的开启装置的词语，生成功能开启指令。其中用户说的开启装置的词语可以是：开机、开启、开、启动等词语。
步骤S60，对所述功能开启指令进行预处理，得到预处理开启指令；
在本实施例中，绘本识别装置在接收到用户发出的功能开启指令之后，绘本识别装置对功能开启指令进行预处理，得到预处理过后的功能开启指令，即绘本识别装置得到预处理开启指令。
步骤S60对所述功能开启指令进行预处理，得到预处理开启指令，可以包括：
步骤f1，读取所述功能开启指令中的声音能量信息和声音频率信息；
在本实施例中，绘本识别装置在得到功能开启指令之后，绘本识别装置读取功能开启指令中声音能量信息和声音频率信息。其中，声音能量信息为用户说话时的音量大小，即用户说话时的分贝大小；声音频率信息为用户说话时声音的频率范围。
步骤f2，检测所述声音能量信息是否大于预设能量信息；
在本实施例中，当绘本识别装置在获取到声音能量信息之后，绘本识别装置检测声音能量信息是否大于预设能量信息，其中，预设能量信息可以是一个固定值，如10分贝、20分贝或30分贝；预设能量信息也可以是绘本识别装置检测周围环境声音的大小；还可以是比绘本识别装置检测周围环境声音高一定分贝的值。
步骤f3，若所述声音能量信息是否大于预设能量信息，则检测所述声音频率信息是否在预设频率范围内；
在本实施例中，当绘本识别装置检测到声音能量信息否大于预设能量信息，绘本识别装置检测声音频率信息是否在预设频率范围内。其中，预设频率范围为人们说话时能听到的声音，一般是20Hz-20KHz。
步骤f4，若所述声音频率信息在预设频率范围内，则对所述功能开启指令进行降噪处理和回声消除处理，得到预处理开启指令。
在本实施例中，当绘本识别装置检测到声音频率信息在预设频率范围内时，绘本识别装置对接收到的功能开启指令进行降噪处理和回升消除处理，得到预处理过后的预处理开启指令。
步骤S70，检测所述预处理开启指令是否与预设开启信息相同；
在本实施例中，绘本识别装置在得到预处理开启指令之后，绘本识别装置检测预处理开启指令说包含的词语是否与开启绘本识别装置的词语相同。其中，预设开启信息为开启绘本识别装置说包含的命令词，如：开机、开启、开、启动等词语。
步骤S80，若所述预处理开启指令与预设开启信息相同，则执行预处理开启指令。
在本实施例中，当绘本识别装置检测预处理开启指令说包含的词语与开启绘本识别装置的词语相同时，绘本识别装置启动，绘本识别装置开始摄像头，绘本识别装置开启绘本识别功能。
步骤S80若所述预处理开启指令与预设开启信息相同，则执行预处理开启指令之后，可以包括：
步骤g1，通过声源定位算法识别所述功能开启指令，得到用户位置信息；
步骤g2，根据所述用户位置信息移动所述绘本识别装置。
在本实施例中，当绘本识别装置启动之后，绘本识别装置通过声源定位算法识别功能开启指令，绘本识别装置计算用户位置信息；绘本识别装置根据用户位置信息驱动绘本识别装置向用户位置信息移动。其中，用户位置信息为用户说出启动绘本识别装置时的所站的位置。
本实施例通过上述方案，接收用户发出的功能开启指令；对所述功能开启指令进行预处理，得到预处理开启指令；检测所述预处理开启指令是否与预设开启信息相同；若所述预处理开启指令与预设开启信息相同，则执行预处理开启指令；接收识别开启指令；根据所述识别开启指令获取绘本特征信息；对所述绘本特征信息进行识别，得到绘本识别结果；对所述绘本识别结果进行播放。由此，提高了早教机的交互功能，提高了早教机识别的准确性，节省了早教机的识别时间。
本发明还提供一种绘本识别装置。
本发明绘本识别装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的绘本识别程序，所述绘本识别程序被所述处理器执行时实现如上所述的绘本识别方法的步骤。
其中，在所述处理器上运行的绘本识别程序被执行时所实现的方法可参照本发明绘本识别方法各个实施例，此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有绘本识别程序，所述绘本识别程序被处理器执行时实现如上所述的绘本识别方法的步骤。
其中，在所述处理器上运行的绘本识别程序被执行时所实现的方法可参照本发明绘本识别方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种绘本识别方法，所述绘本识别方法应用于绘本识别装置，其特征在于，所述绘本识别方法包括如下步骤：
接收识别开启指令；
根据所述识别开启指令获取绘本特征信息；
对所述绘本特征信息进行识别，得到绘本识别结果；
对所述绘本识别结果进行播放。
2.如权利要求1所述的绘本识别方法，其特征在于，所述对所述绘本特征信息进行识别，得到绘本识别结果的步骤，包括：
检测是否与互联网连接；
若与互联网连接，则将所述绘本特征信息发送至服务器；
接收所述服务器根据所述绘本特征信息返回的网络绘本识别结果；
根据所述绘本特征信息进行识别，得到本地绘本识别结果；
检测生成所述网络绘本识别结果的时长是否小于生成所述本地绘本识别结果的时长；
若生成所述网络绘本识别结果的时长是小于生成所述本地绘本识别结果的时长，则将所述网络识别结果作为绘本识别结果。
3.如权利要求2所述的绘本识别方法，其特征在于，所述检测生成所述网络绘本识别结果的时长是否小于生成所述本地绘本识别结果的时长的步骤之后，包括：
若生成所述网络绘本识别结果的时长是大于或等于生成所述本地绘本识别结果的时长，则将本地绘本识别结果作为绘本识别结果。
4.如权利要求1所述的绘本识别方法，其特征在于，所述对所述绘本特征信息进行识别，得到绘本识别结果的步骤之后，包括：
接收用户发出的识别干预指令；
根据所述识别干预指令干预所述绘本识别结果；
所述对所述绘本识别结果进行播放的步骤，包括：
对干预后的所述绘本识别结果进行播放。
5.如权利要求1所述的绘本识别方法，其特征在于，所述接收识别开启指令的步骤之后，包括：
所述绘本识别装置发出视频播放选择指令；
获取用户根据所述视频播放选择指令返回的开启视频播放指令；
根据所述开启视频播放指令开启视频播放功能。
6.如权利要求1至5任一项所述的绘本识别方法，其特征在于，所述接收识别开启指令的步骤之前，包括：
接收用户发出的功能开启指令；
对所述功能开启指令进行预处理，得到预处理开启指令；
检测所述预处理开启指令是否与预设开启信息相同；
若所述预处理开启指令与预设开启信息相同，则执行预处理开启指令。
7.如权利要求6所述的绘本识别方法，其特征在于，所述若所述预处理开启指令与预设开启信息相同，则执行预处理开启指令的步骤之后，包括：
通过声源定位算法识别所述功能开启指令，得到用户位置信息；
根据所述用户位置信息移动所述绘本识别装置。
8.如权利要求6所述的绘本识别方法，其特征在于，所述对所述功能开启指令进行预处理，得到预处理开启指令的步骤，包括：
读取所述功能开启指令中的声音能量信息和声音频率信息；
检测所述声音能量信息是否大于预设能量信息；
若所述声音能量信息是否于预设能量信息，则检测所述声音频率信息是否在预设频率范围内；
若所述声音频率信息在预设频率范围内，则对所述功能开启指令进行降噪处理和回声消除处理，得到预处理开启指令。
9.一种绘本识别装置，其特征在于，所述装置包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的绘本识别程序，所述绘本识别程序被所述处理器执行时实现如权利要求1至8中任一项所述的绘本识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有绘本识别程序，所述绘本识别程序被处理器执行时实现如权利要求1至8中任一项所述的绘本识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911398927.4A CN111145604A (zh) | 2019-12-30 | 2019-12-30 | 绘本识别方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911398927.4A CN111145604A (zh) | 2019-12-30 | 2019-12-30 | 绘本识别方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111145604A true CN111145604A (zh) | 2020-05-12 |
Family
ID=70522056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911398927.4A Pending CN111145604A (zh) | 2019-12-30 | 2019-12-30 | 绘本识别方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111145604A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673277A (zh) * | 2020-05-13 | 2021-11-19 | 百度在线网络技术（北京）有限公司 | 线上绘本内容的获取方法、装置以及智能屏设备 |
| CN113673795A (zh) * | 2020-05-13 | 2021-11-19 | 百度在线网络技术（北京）有限公司 | 线上教材内容的获取方法、装置以及智能屏设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000140457A (ja) * | 1999-12-02 | 2000-05-23 | Sanyo Electric Co Ltd | 絵本と組み合った効果音発生方法 |
| US6961738B1 (en) * | 1998-09-16 | 2005-11-01 | Nec Corporation | Information processing device and information processing method using fingerprint identification |
| JP2010237269A (ja) * | 2009-03-30 | 2010-10-21 | Toshiba Corp | 音声認識装置、その方法及びそのプログラム |
| CN102722186A (zh) * | 2012-06-28 | 2012-10-10 | 深圳大学 | 一种基于语音识别的移动伺服平台及语音控制方法 |
| CN105913844A (zh) * | 2016-04-22 | 2016-08-31 | 乐视控股（北京）有限公司 | 车载语音获取方法及装置 |
| CN105976815A (zh) * | 2016-04-22 | 2016-09-28 | 乐视控股（北京）有限公司 | 车载语音识别方法及装置 |
| CN106328132A (zh) * | 2016-08-15 | 2017-01-11 | 歌尔股份有限公司 | 一种智能设备的语音交互控制方法和装置 |
| CN107133337A (zh) * | 2017-05-12 | 2017-09-05 | 杭州哲信信息技术有限公司 | 流式播放互动绘本播放方法、系统和计算机可读存储介质 |
| CN109241305A (zh) * | 2018-08-23 | 2019-01-18 | 深圳市深晓科技有限公司 | 一种基于图像识别的绘本阅读方法及装置 |
| CN109710748A (zh) * | 2019-01-17 | 2019-05-03 | 北京光年无限科技有限公司 | 一种面向智能机器人的绘本阅读交互方法和系统 |
| KR20190100703A (ko) * | 2018-02-21 | 2019-08-29 | 한국과학기술원 | 음원 위치 인식 기술을 이용한 움직임이 가능한 인공지능 스피커 및 그 제어 방법 |
-
2019
- 2019-12-30 CN CN201911398927.4A patent/CN111145604A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6961738B1 (en) * | 1998-09-16 | 2005-11-01 | Nec Corporation | Information processing device and information processing method using fingerprint identification |
| JP2000140457A (ja) * | 1999-12-02 | 2000-05-23 | Sanyo Electric Co Ltd | 絵本と組み合った効果音発生方法 |
| JP2010237269A (ja) * | 2009-03-30 | 2010-10-21 | Toshiba Corp | 音声認識装置、その方法及びそのプログラム |
| CN102722186A (zh) * | 2012-06-28 | 2012-10-10 | 深圳大学 | 一种基于语音识别的移动伺服平台及语音控制方法 |
| CN105913844A (zh) * | 2016-04-22 | 2016-08-31 | 乐视控股（北京）有限公司 | 车载语音获取方法及装置 |
| CN105976815A (zh) * | 2016-04-22 | 2016-09-28 | 乐视控股（北京）有限公司 | 车载语音识别方法及装置 |
| CN106328132A (zh) * | 2016-08-15 | 2017-01-11 | 歌尔股份有限公司 | 一种智能设备的语音交互控制方法和装置 |
| CN107133337A (zh) * | 2017-05-12 | 2017-09-05 | 杭州哲信信息技术有限公司 | 流式播放互动绘本播放方法、系统和计算机可读存储介质 |
| KR20190100703A (ko) * | 2018-02-21 | 2019-08-29 | 한국과학기술원 | 음원 위치 인식 기술을 이용한 움직임이 가능한 인공지능 스피커 및 그 제어 방법 |
| CN109241305A (zh) * | 2018-08-23 | 2019-01-18 | 深圳市深晓科技有限公司 | 一种基于图像识别的绘本阅读方法及装置 |
| CN109710748A (zh) * | 2019-01-17 | 2019-05-03 | 北京光年无限科技有限公司 | 一种面向智能机器人的绘本阅读交互方法和系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673277A (zh) * | 2020-05-13 | 2021-11-19 | 百度在线网络技术（北京）有限公司 | 线上绘本内容的获取方法、装置以及智能屏设备 |
| CN113673795A (zh) * | 2020-05-13 | 2021-11-19 | 百度在线网络技术（北京）有限公司 | 线上教材内容的获取方法、装置以及智能屏设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6541934B2 (ja) | 音声対話機能を備えた携帯端末機及びその音声対話方法 | |
| US9613618B2 (en) | Apparatus and method for recognizing voice and text | |
| CN106202165B (zh) | 人机交互的智能学习方法及装置 | |
| KR102193029B1 (ko) | 디스플레이 장치 및 그의 화상 통화 수행 방법 | |
| US10860289B2 (en) | Flexible voice-based information retrieval system for virtual assistant | |
| US9129602B1 (en) | Mimicking user speech patterns | |
| CN112040263A (zh) | 视频处理方法、视频播放方法、装置、存储介质和设备 | |
| CN110827826B (zh) | 语音转换文字方法、电子设备 | |
| WO2019107145A1 (ja) | 情報処理装置、及び情報処理方法 | |
| US10950240B2 (en) | Information processing device and information processing method | |
| KR102651249B1 (ko) | 디지털 어시스턴트를 이용한 오디오 정보 제공 | |
| CN110827825A (zh) | 语音识别文本的标点预测方法、系统、终端及存储介质 | |
| CN111370018A (zh) | 音频数据的处理方法、电子设备及介质 | |
| CN111984180B (zh) | 终端读屏方法、装置、设备及计算机可读存储介质 | |
| CN110825164A (zh) | 基于儿童专用穿戴智能设备的交互方法及系统 | |
| CN110808019A (zh) | 一种歌曲生成方法及电子设备 | |
| CN110826637A (zh) | 情绪识别方法、系统及计算机可读存储介质 | |
| CN111145604A (zh) | 绘本识别方法、装置及计算机可读存储介质 | |
| CN112863508A (zh) | 免唤醒交互方法和装置 | |
| CN111522524B (zh) | 一种基于会议机器人的演示文稿控制方法、装置、存储介质及终端 | |
| CN110413834B (zh) | 语音评论修饰方法、系统、介质和电子设备 | |
| US20190026265A1 (en) | Information processing apparatus and information processing method | |
| US20190026266A1 (en) | Translation device and translation system | |
| CN112684936A (zh) | 一种信息识别方法、存储介质及计算机设备 | |
| CN110767229B (zh) | 基于声纹的音频输出方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200512 |