CN109192204B - 一种基于智能设备摄像头的语音控制方法和智能设备 - Google Patents

Abstract

本发明公开了一种基于智能设备摄像头的语音控制方法和智能设备，涉及智能控制领域。由于当学生独立学习时，学生遇到的问题难以及时解决，对学生的学习效率有较大的影响。本发明通过一种基于智能设备摄像头的语音控制方法，包括：采集用户的语音信号；打开摄像头，在摄像区域内获取目标图像；对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；结合所述用户的语音信号和所述目标图像上所述书本指定区域的内容，搜索出针对书本上指定区域的内容提出问题的答案；显示针对书本上指定区域的内容提出问题的答案。当学生通过本发明只需要将手指点在书本上自己需要提问的位置时，即可快速地解决学生所提出的问题，增加了学生的学习效率。

Description

一种基于智能设备摄像头的语音控制方法和智能设备

技术领域

本发明涉及智能控制领域，尤指一种基于智能设备摄像头的语音控制方法和智能设备。

背景技术

随着社会的不断发展，人们也逐渐认识到的教育对于人类发展以及家庭的重要性，家长也会经常性地陪伴在孩子身边，辅导孩子作业，为孩子今后的学习打下良好的基础。

对于年级较低的学生，在学习上通常会遇到各种各样的问题，例如某一些字不会读、某一些题不会做或者某一些句子的含义无法理解等等，由于其自行解决问题的能力不足以解决当前面临的问题。因此，在学习上遇到问题时总喜欢问身边的大人，例如“爸爸这个题怎么做”、“爸爸这个字怎么读”、“爸爸这句话什么意思”等等。

当大人不在学生的身边，学生独立学习时，学生遇到的问题难以及时解决，对学生的学习效率有较大的影响。

发明内容

本发明的目的是提供一种基于智能设备摄像头的语音控制方法和智能设备，有利于学生在独立学习时，遇到的问题能够及时解决，增加了学生的学习效率。

本发明提供的技术方案如下：

一种基于智能设备摄像头的语音控制方法，包括：采集用户的语音信号；

打开摄像头，在摄像区域内获取目标图像；

对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

结合所述用户的语音信号和所述目标图像上所述书本指定区域的内容，搜索出针对书本上指定区域的内容提出问题的答案；

显示针对书本上指定区域的内容提出问题的答案。

进一步，采集用户的语音信号之后，打开摄像头之前还包括：对采集到的所述用户的语音信号进行语音识别；

当识别出所述语音信号中存在提问意向时，打开所述摄像头。

进一步，对采集到的所述用户的语音信号进行语音识别之后，打开摄像头之前还包括：判断采集到的所述用户的语音信号中是否存在提问对象；

当采集到的所述用户的语音信号中不存在提问对象时，打开摄像头。

进一步，判断采集到的所述用户的语音信号中是否存在提问对象之后还包括：当采集到的所述用户的语音信号中存在提问对象时，搜索出针对所述提问对象所提出问题的答案；

显示所述提问对象所提出问题的答案。

进一步，采集用户的语音信号之前还包括：解析用户的控制操作，当解析到用户所选择的控制方式为语音控制方式时，采集用户的语音信号。

本发明的目的之一还在于提供一种智能设备，包括：语音采集模块，用于采集用户的语音信号；

图像获取模块，用于打开摄像头，在摄像区域内获取目标图像；

图像识别模块，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

答案搜索模块，用于结合所述用户的语音信号和所述目标图像上所述书本指定区域的内容，搜索出针对书本上指定区域的内容提出问题的答案；

答案显示模块，用于显示针对书本上指定区域的内容提出问题的答案。

进一步，还包括：语音识别模块，用于对采集到的所述用户的语音信号进行语音识别；

当所述语音识别模块识别出所述语音信号中存在提问意向时，所述图像获取模块控制所述摄像头打开。

进一步，所述语音识别模块还用于判断采集到的所述用户的语音信号中是否存在提问对象；

当采集到的所述用户的语音信号中不存在提问对象时，所述图像获取模块控制所述摄像头打开。

进一步，当采集到的所述用户的语音信号中存在提问对象时，所述答案搜索模块搜索出针对所述提问对象所提出问题的答案；

所述答案显示模块显示所述提问对象所提出问题的答案。

进一步，还包括：用户解析模块，用于解析用户的控制操作；

当解析到用户所选择的控制方式为语音控制方式时，所述语音采集模块采集用户的语音信号。

与现有技术相比，本发明提供的一种基于智能设备摄像头的语音控制方法和智能设备具有以下有益效果：

1、用户只需要将手指点在书本上自己需要提问的位置，并提出自己的问题，智能设备能够自动搜索出提出问题的答案，并将答案进行显示，有利于学生在独立学习时，遇到的问题能够及时解决，增加了学生的学习效率。

2、由于学生在学习过程中，经常会发出除了提问之外的其他声音，而这些声音并存在提问意向，因此，也无需智能设备搜索对应的问题，智能设备因此也无需打开摄像头，避免不必要的浪费。

3、在智能设备上通过手势或按钮等方式，来选取不同的控制方式，并在用户选取完成语音控制方式时，智能设备能够实时打开扬声器，来实时获取用户的语音信号。

4、在识别到用户的语音中存在提问意向时，即智能设备已经了解到用户面临问题时，智能设备能够通过分析语音信号中是否存在明确的提问对象，当智能设备判断得到用户的语音信号中不存在提问对象时，智能设备即可了解到用户是针对书本上的内容产生的疑问，因此打开摄像头。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于智能设备摄像头的语音控制方法和智能设备的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种基于智能设备摄像头的语音控制方法的流程示意图；

图2是本发明另一种基于智能设备摄像头的语音控制方法的流程示意图；

图3是本发明又一种基于智能设备摄像头的语音控制方法的流程示意图；

图4是本发明一种智能设备的结构示意图；

图5是本发明另一种智能设备的结构示意图；

图6是本发明一种智能设备的具体结构示意图；

图7是本发明另一种智能设备的具体结构示意图。

附图标号说明：10.语音采集模块，20.图像获取模块，30.图像识别模块，40.答案搜索模块，50.答案显示模块，60.语音识别模块，70.用户解析模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

根据本发明提供的一种实施例，如图1所示，一种基于智能设备摄像头的语音控制方法，包括：

S10、采集用户的语音信号。

智能设备上的用于采集用户语音信号的装置能够实时打开，即麦克风能够实时打开，或者根据用户的需求打开；麦克风在打开之后，能够实时监听并采集用户的语音信号，并作为打开摄像头的必要条件。

麦克风在采集到用户的语音信号时，麦克风能够将采集到的语音信号发送给控制器，控制器主要指设置在智能设备内的计算机；且由于麦克风能够实时开启时，麦克风能够及时地获取到用户所说的话，并将用户发出的声音转化为语音信号；并且在声音获取中，麦克风在接收到语音信号后，麦克风还能够将接收到的语音信号进行降噪处理，以获取较为清晰的语音信号。

麦克风将语音信号发送给控制器后，控制器能够依据声音特征、或语音信号的音色与音频，与数据库进行比较，识别得到用户提出的问题。

S20、打开摄像头，在摄像区域内获取目标图像。

当麦克风采集到用户的语音信号后，智能设备即可打开摄像头，并获取该摄像头的摄像区域内的图像作为目标图像；具体的，利用摄像头在摄像区域内拍摄含有书本图像的目标图像时，在获取目标图像之后，智能设备可以以书本边缘为界线进行自动框选，对框选中的书本进行拍摄；或者大于书本本身的区域来拍摄图像。

摄像头能够在智能设备的外侧，且摄像头的拍摄端朝向摄像区域，摄像头能够在打开后对摄像区域拍照，获取摄像区域的目标图像，摄像区域主要指摄像头前侧的一块区域，即摄像区域主要指智能设备上的工作平面。

通过智能设备在检测到用户的语音信号后，再打开摄像头，实现了用户在未打开语音时，摄像头能够保持关闭的状态，减少了不必要的浪费。同时通过语音信号来对摄像头进行触发，摄像头的开启条件较为简便，便于摄像头获取摄像区域的目标图像。

S30、对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

在摄像头采集到目标图像之后，摄像头能够每间隔一定的时间将拍摄的目标图像发送给控制器，控制器在获取目标图像之后，通过获取到目标图像中的特征，来与特征数据库进行比较，来分析出目标图像中是否已经存在书本。

在对目标图像进行识别时，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书的多少页，用户在书本上所指定的多少段或多少行。控制器还能够通过获取到的目标头像的颜色特征，并与皮肤的颜色特征进行比较，来分析出目标图像中的手指的位置，并通过目标图像中的手指尖端的位置，来分析出用户手指指向的位置。

控制器在检测到书本时，控制器还能够以及文字识别，来识别得到书本上的文字，并将文字与数据库中的书本进行模糊检索，分析得到目标图像中的书本图像所代表的书本的种类，并分析出书本当前的页数。

通过图像识别的方法，即可获取到用户当前所指向的书本的内容，控制器即可获取到需要搜索的内容。用户在书本上指定区域时，可以是用户使用手指或配套的笔在书本上指出或勾画出的区域。

摄像头每间隔一段时间，摄像头即可重新对摄像区域进行拍摄，获取到新的目标图像，以替换原有的目标图像，便于实现对书本检测，并在检测到目标图像中书本图像发生变化时，智能设备能够及时对摄像头的拍摄角度进行更改，实现了对书本的实时监控。

S40、结合所述用户的语音信号和所述目标图像上所述书本指定区域的内容，搜索出针对书本上指定区域的内容提出问题的答案。

在识别得到用户提出的问题以及识别出书本上指定区域的内容之后，再开始搜索过程，且搜索过程中，搜索的对象为书本上指定区域的内容，且搜索的条件从用户提出的问题来获取，并在搜索完成后，将搜索得到的答案进行显示。

控制器依据搜索到大量的答案，并通过答案的匹配程度，选取匹配程度最高的答案作为用户提出的问题的答案。

S50、显示针对书本上指定区域的内容提出问题的答案。

对于不同形式的答案，智能设备能够以不同的方式进行显示，如语音播报，显示屏显示，三维投影等方式均能够作为本发明中的显示装置的显示方式。控制器在检测到不同的答案时，控制器也能够依据答案的种类来选取不同的。例如检测到读音类的答案时，通过语音播报的方式显示答案，或答案为图像或模型时，通过三维投影的方式显示答案。

当学生问出“这个字怎么读”时，智能设备能够打开摄像头，并开始对摄像区域进行拍照，获取摄像区域的目标图像，智能设备即可识别出用户手指尖端处的字，并对该字进行读音搜索，并通过扬声器读出该字，或通过显示屏或投影设备显示出该字的读音。或当学生问出“这道题怎么做”时，智能设备即可识别出手指处较大区域图像，识别出该题目，并对该题进行搜索，获得题目的答案，并通过显示装置显示出来。

用户只需要将手指点在书本上自己需要提问的位置，并提出自己的问题，智能设备能够自动搜索出提出问题的答案，并将答案进行显示，有利于学生在独立学习时，遇到的问题能够及时解决，增加了学生的学习效率。

根据本发明提供的另一种实施例，如图2所示，一种基于智能设备摄像头的语音控制方法，包括：

S10、采集用户的语音信号。

S11、对采集到的所述用户的语音信号进行语音识别。

S20、当识别出所述语音信号中存在提问意向时，打开摄像头，在摄像区域内获取目标图像。

S30、对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

S40、结合所述用户的语音信号和所述目标图像上所述书本指定区域的内容，搜索出针对书本上指定区域的内容提出问题的答案。

S50、显示针对书本上指定区域的内容提出问题的答案。

优选地，采集用户的语音信号之前还包括：

S01、解析用户的控制操作，当解析到用户所选择的控制方式为语音控制方式时，采集用户的语音信号。

具体地，本实施例中，当智能设备采集到用户的语音之后，通过语音信号中提问意向的识别，作为摄像头的开启条件；由于学生在学习过程中，经常会发出除了提问之外的其他声音，例如回答父母的声音或是朗读句子的声音，而这些声音并存在提问意向，因此，也无需智能设备搜索对应的问题，智能设备因此也无需打开摄像头，避免不必要的浪费。

通过对语音信号初步进行识别，判断用户当前发出的语音信号是否存在提问意向，即判断用户是否面临问题；在用户发出的语音信号中存在提问意向时，智能设备才开启摄像头，从而避免了在不必要的时候智能设备打开摄像头，减小了不必要的浪费。

由于用户在提问过程中，即使用户面临问题时，并发出提问也可能通过陈述的语气发出，例如“这句话的意思是什么”，不能够简单地以语气来判断语音信号是否包含提问意向，需要通过语音信号的语义，来判断语音信号中是否存在提问意向，继而打开摄像头。

在本实施中，摄像头能够具有多种控制方式，例如语音控制方式，实时控制方式等，本实施例具体描述了对摄像头的语言控制方式；在智能设备上通过手势或按钮等方式，来选取不同的控制方式，并在用户选取完成语音控制方式时，智能设备能够实时打开扬声器，来实时获取用户的语音信号。

根据本发明提供的又一种实施例，如图3所示，一种基于智能设备摄像头的语音控制方法，包括：

S10、采集用户的语音信号。

S11、对采集到的所述用户的语音信号进行语音识别。

S12、当识别出所述语音信号中存在提问意向时，判断采集到的所述用户的语音信号中是否存在提问对象。

S20、当采集到的所述用户的语音信号中不存在提问对象时，打开摄像头，在摄像区域内获取目标图像。

S30、对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

S40、结合所述用户的语音信号和所述目标图像上所述书本指定区域的内容，搜索出针对书本上指定区域的内容提出问题的答案。

S50、显示针对书本上指定区域的内容提出问题的答案。

可选的，判断采集到的所述用户的语音信号中是否存在提问对象之后还包括：

S13、当采集到的所述用户的语音信号中存在提问对象时，搜索出针对所述提问对象所提出问题的答案。

S14、显示所述提问对象所提出问题的答案。

具体地，本实施例中，在识别到用户的语音中存在提问意向时，即智能设备已经了解到用户面临问题时，智能设备能够通过分析语音信号中是否存在明确的提问对象，提问对象主要指语音信号中非代词类主语。当智能设备判断得到用户的语音信号中不存在提问对象时，智能设备即可了解到用户是针对书本上的内容产生的疑问，因此打开摄像头。

在本实施例中，在分析语音信号中是否存在明确的提问对象时，能够依据数据库系统以及用户日常的用于习惯，来判断句子的当中的字词是否为提问对象，同时控制器也能够依据语法习惯，以及用户可能问出的问题，来判断用户发出的语音信号中是否存在提问对象。

在此实施例的基础上，控制器还能够结合机器学习算法来获取用户的语言习惯，以及用户的口音，来对用户的语音信号进行自动矫正，以获取到更加便于处理的语音信号。

例如在“这句话是什么读”中，语音信号中只有代词“这句话”，并不是明确的提问对象，因此，智能设备还需要结合书本中的用户所指的内容进行搜索，搜索得到用户的问题的答案，并进行显示。

根据本发明提供的再一种实施例，如图3所示，一种基于智能设备摄像头的语音控制方法，包括：

S10、采集用户的语音信号。

S11、对采集到的所述用户的语音信号进行语音识别。

S12、当识别出所述语音信号中存在提问意向时，判断采集到的所述用户的语音信号中是否存在提问对象。

S13、当采集到的所述用户的语音信号中存在提问对象时，搜索出针对所述提问对象所提出问题的答案。

S14、显示所述提问对象所提出问题的答案。

当用户发出的语音信号中存在提问对象时，说明学生不是针对书本上的某个点进行的提问，不需要再打开摄像头，因此能够直接对提问对象进行搜索，获取到问题的答案并进行显示。

在本实施例中，当智能设备在检测到语音信号成为完整的提问语句，但语句中并未存在任何代词时，智能设备即可直接得到语句中的主语作为提问对象。

例如“苹果怎么写”中“苹果”能够作为明确的提问对象，或是“正五边形是什么样子的”中“正五边形”能够作为明确的提问对象，无需再结合书本进行搜索，因此智能设备能够直接对提问对象进行搜索，搜索得到用户问题的答案。

通过识别语音信号中是否存在明确的提问对象，对用户提出的问题进行划分，并划分为需要结合书本的问题，以及不需要结合书本的问题，并在在用户发出不需要结合书本的问题时，智能设备能够直接依据提问对象进行搜索，而不再打开摄像头，减少了不必要的浪费。

根据上述实施例的改进，在选取完成实时控制方式之后，智能设备上能够通过添加接近传感器或红外传感器等装置，来检测桌面即摄像头的摄像区域内是否存在书本，并在检测到书本时，才开始进入语音控制方式，以便语音信号打开摄像头，实现了对书本的实时检测。

同时在智能设备未检测到书本时，或在摄像头打开后，书本从桌面上拿开之后，智能设备能够检测到摄像头的摄像区域不存在书本，摄像头无需再开启，智能设备控制摄像头关闭，减少了不必要的浪费，实现了节能的效果。

摄像头每间隔一段时间，摄像头即可重新对摄像区域进行拍摄，获取到新的目标图像，以替换原有的目标图像，便于实现对书本检测，并在检测到目标图像中书本图像发生变化时，智能设备能够及时对摄像头的拍摄角度进行更改，实现了对书本的实时监控。

根据上述实施例的改进，在本实施例中，摄像头对摄像区域连续拍摄，在且拍摄过程中，书本的位置发生变化时，书本图像在目标图像上的位置发生了对应的变化，智能设备即可及时得知书本的移动动作；同时智能设备在分析书本移动前与书本移动后的目标图像时，智能设备也能够及时得知书本的移动方向，再根据书本的移动方向来更改摄像头的拍摄角度，使得摄像头能够向书本的移动方向转动，继而实现书本能够始终位于拍摄区域内，减小了书本由于移动脱离拍摄区域的可能。

在判断多个目标图像过程中，判断书本是否移动时，至少需要同一拍摄角度下的两个目标图像，两个目标图像中的书本图像的移动距离大于预设移动距离，此时，控制器即可判断书本开始移动。

同时智能设备也能够通过不同拍摄角度下的目标图像，结合目标图像的背景以及拍摄时摄像机的拍摄参数，来进一步判断书本是否发生了位置的更改，进而实现了判断书本是否发生了运动，在书本运动过程中，及时调节了摄像头的摄像区域，实现了对移动中的书本的实时监控。

在检测运动过程中的书本时，还能够结合上述实施例的调节方式，来使得书本能够位于摄像头拍摄区域的中部，最终实现了摄像头对书本的稳定监控。

摄像头优选地通过球头连接设置在智能设备上；在智能设备检测到目标图像中的书本图像不完整时，即书本的一部分未被拍摄到，此时，书本未完全落在摄像区域内，控制器能够得到书本与摄像区域的位置关系，并控制摄像头向书本所在的方向进行转动，从而使得书本能够落在摄像区域内。当前状态下，摄像头的摄像区域发生了变化，因此，摄像头能够再次获取新的目标图像，并在检测到书本图像不完整时，再次执行上述摄像头的拍摄角度更改动作，直至摄像头能够获取到包含完整书本图像的目标图像。同时，摄像头的多次获取目标图像，也便于实现对书本的实时定位。

由于摄像区域大于书本，因此书本图像在目标图像内的占比也较小，因此，控制器还能够在获取到全部的书本图像后，再次控制书本图像与目标图像边沿之间的间距，实现书本图像与目标图像边沿之间的间距均大于预设的间距，当前状态下的书本能够落在摄像区域的中部，减小了由于用户移动书本后，摄像头仍然需要更改其拍摄角度的可能，减少了不必要的浪费。

根据本发明提供的一种实施例，如图4所示，一种智能设备，包括：

语音采集模块10，用于采集用户的语音信号。

图像获取模块20，用于打开摄像头，在摄像区域内获取目标图像。

图像识别模块30，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

答案搜索模块40，用于结合所述用户的语音信号和所述目标图像上所述书本指定区域的内容，搜索出针对书本上指定区域的内容提出问题的答案。

答案显示模块50，用于显示针对书本上指定区域的内容提出问题的答案。

智能设备上的用于采集用户语音信号的装置能够实时打开，即麦克风能够实时打开，或者根据用户的需求打开；麦克风在打开之后，能够实时监听并采集用户的语音信号，并作为打开摄像头的必要条件。

麦克风在采集到用户的语音信号时，麦克风能够将采集到的语音信号发送给控制器，控制器主要指设置在智能设备内的计算机；且由于麦克风能够实时开启时，麦克风能够及时地获取到用户所说的话，并将用户发出的声音转化为语音信号；并且在声音获取中，麦克风在接收到语音信号后，麦克风还能够将接收到的语音信号进行降噪处理，以获取较为清晰的语音信号。

麦克风将语音信号发送给控制器后，控制器能够依据声音特征、或语音信号的音色与音频，与数据库进行比较，识别得到用户提出的问题。

当麦克风采集到用户的语音信号后，智能设备即可打开摄像头，并获取该摄像头的摄像区域内的图像作为目标图像；具体的，利用摄像头在摄像区域内拍摄含有书本图像的目标图像时，在获取目标图像之后，智能设备可以以书本边缘为界线进行自动框选，对框选中的书本进行拍摄；或者大于书本本身的区域来拍摄图像。

摄像头能够在智能设备的外侧，且摄像头的拍摄端朝向摄像区域，摄像头能够在打开后对摄像区域拍照，获取摄像区域的目标图像，摄像区域主要指摄像头前侧的一块区域，即摄像区域主要指智能设备上的工作平面。

通过智能设备在检测到用户的语音信号后，再打开摄像头，实现了用户在未打开语音时，摄像头能够保持关闭的状态，减少了不必要的浪费。同时通过语音信号来对摄像头进行触发，摄像头的开启条件较为简便，便于摄像头获取摄像区域的目标图像。

在摄像头采集到目标图像之后，摄像头能够每间隔一定的时间将拍摄的目标图像发送给控制器，控制器在获取目标图像之后，通过获取到目标图像中的特征，来与特征数据库进行比较，来分析出目标图像中是否已经存在书本。

在对目标图像进行识别时，利用大数据和人工智能匹配，识别出用户在使用什么书本，这本书的多少页，用户在书本上所指定的多少段或多少行。控制器还能够通过获取到的目标头像的颜色特征，并与皮肤的颜色特征进行比较，来分析出目标图像中的手指的位置，并通过目标图像中的手指尖端的位置，来分析出用户手指指向的位置。

控制器在检测到书本时，控制器还能够以及文字识别，来识别得到书本上的文字，并将文字与数据库中的书本进行模糊检索，分析得到目标图像中的书本图像所代表的书本的种类，并分析出书本当前的页数。

通过图像识别的方法，即可获取到用户当前所指向的书本的内容，控制器即可获取到需要搜索的内容。用户在书本上指定区域时，可以是用户使用手指或配套的笔在书本上指出或勾画出的区域。

摄像头每间隔一段时间，摄像头即可重新对摄像区域进行拍摄，获取到新的目标图像，以替换原有的目标图像，便于实现对书本检测，并在检测到目标图像中书本图像发生变化时，智能设备能够及时对摄像头的拍摄角度进行更改，实现了对书本的实时监控。

在识别得到用户提出的问题以及识别出书本上指定区域的内容之后，再开始搜索过程，且搜索过程中，搜索的对象为书本上指定区域的内容，且搜索的条件从用户提出的问题来获取，并在搜索完成后，将搜索得到的答案进行显示。

控制器依据搜索到大量的答案，并通过答案的匹配程度，选取匹配程度最高的答案作为用户提出的问题的答案。

对于不同形式的答案，智能设备能够以不同的方式进行显示，如语音播报，显示屏显示，三维投影等方式均能够作为本发明中的显示装置的显示方式。控制器在检测到不同的答案时，控制器也能够依据答案的种类来选取不同的。例如检测到读音类的答案时，通过语音播报的方式显示答案，或答案为图像或模型时，通过三维投影的方式显示答案。

当学生问出“这个字怎么读”时，智能设备能够打开摄像头，并开始对摄像区域进行拍照，获取摄像区域的目标图像，智能设备即可识别出用户手指尖端处的字，并对该字进行读音搜索，并通过扬声器读出该字，或通过显示屏或投影设备显示出该字的读音。或当学生问出“这道题怎么做”时，智能设备即可识别出手指处较大区域图像，识别出该题目，并对该题进行搜索，获得题目的答案，并通过显示装置显示出来。

用户只需要将手指点在书本上自己需要提问的位置，并提出自己的问题，智能设备能够自动搜索出提出问题的答案，并将答案进行显示，有利于学生在独立学习时，遇到的问题能够及时解决，增加了学生的学习效率。

如图6和图7所示，本实施例中，智能设备主要指学习机，点读机，智能台灯或智能书桌灯智能设备；语音采集模块10主要指设置在智能设备上的麦克风，用于采集用户的输入的语音信号；图像获取模块20主要指设置在智能设备上的摄像头；图像识别模块30和答案搜索模块40主要指设置在智能设备内的控制器，更具体地，主要指设置在智能设备内的微型计算机；答案显示模块50，主要设置在智能设备外侧，主要为扬声器、投影装置、显示屏等装置中的一个或多个。

根据本发明提供的另一种实施例，如图5所示，一种智能设备，包括：

语音采集模块10，用于采集用户的语音信号。

语音识别模块60，用于对采集到的所述用户的语音信号进行语音识别；当所述语音识别模块60识别出所述语音信号中存在提问意向时，所述图像获取模块20控制所述摄像头打开。

图像获取模块20，用于打开摄像头，在摄像区域内获取目标图像。

图像识别模块30，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

答案搜索模块40，用于结合所述用户的语音信号和所述目标图像上所述书本指定区域的内容，搜索出针对书本上指定区域的内容提出问题的答案。

答案显示模块50，用于显示针对书本上指定区域的内容提出问题的答案。

优选地，还包括：用户解析模块70，用于解析用户的控制操作。

当解析到用户所选择的控制方式为语音控制方式时，所述语音采集模块10采集用户的语音信号。

具体地，本实施例中，当智能设备采集到用户的语音之后，通过语音信号中提问意向的识别，作为摄像头的开启条件；由于学生在学习过程中，经常会发出除了提问之外的其他声音，例如回答父母的声音或是朗读句子的声音，而这些声音并存在提问意向，因此，也无需智能设备搜索对应的问题，智能设备因此也无需打开摄像头，避免不必要的浪费。

通过对语音信号初步进行识别，判断用户当前发出的语音信号是否存在提问意向，即判断用户是否面临问题；在用户发出的语音信号中存在提问意向时，智能设备才开启摄像头，从而避免了在不必要的时候智能设备打开摄像头，减小了不必要的浪费。

由于用户在提问过程中，即使用户面临问题时，并发出提问也可能通过陈述的语气发出，例如“这句话的意思是什么”，不能够简单地以语气来判断语音信号是否包含提问意向，需要通过语音信号的语义，来判断语音信号中是否存在提问意向，继而打开摄像头。

在本实施中，摄像头能够具有多种控制方式，例如语音控制方式，实时控制方式等，本实施例具体描述了对摄像头的语言控制方式；在智能设备上通过手势或按钮等方式，来选取不同的控制方式，并在用户选取完成语音控制方式时，智能设备能够实时打开扬声器，来实时获取用户的语音信号。

根据本发明提供的又一种实施例，一种智能设备，包括：

语音采集模块10，用于采集用户的语音信号。

语音识别模块60，用于对采集到的所述用户的语音信号进行语音识别；当所述语音识别模块60识别出所述语音信号中存在提问意向时，所述图像获取模块20控制所述摄像头打开。

所述语音识别模块60还用于判断采集到的所述用户的语音信号中是否存在提问对象；当采集到的所述用户的语音信号中不存在提问对象时，所述图像获取模块20控制所述摄像头打开。

图像获取模块20，用于打开摄像头，在摄像区域内获取目标图像。

图像识别模块30，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域。

答案搜索模块40，用于结合所述用户的语音信号和所述目标图像上所述书本指定区域的内容，搜索出针对书本上指定区域的内容提出问题的答案。

答案显示模块50，用于显示针对书本上指定区域的内容提出问题的答案。

可选的，当采集到的所述用户的语音信号中存在提问对象时，所述答案搜索模块40搜索出针对所述提问对象所提出问题的答案。

具体地，本实施例中，在识别到用户的语音中存在提问意向时，即智能设备已经了解到用户面临问题时，智能设备能够通过分析语音信号中是否存在明确的提问对象，提问对象主要指语音信号中非代词类主语。当智能设备判断得到用户的语音信号中不存在提问对象时，智能设备即可了解到用户是针对书本上的内容产生的疑问，因此打开摄像头。

在本实施例中，在分析语音信号中是否存在明确的提问对象时，能够依据数据库系统以及用户日常的用于习惯，来判断句子的当中的字词是否为提问对象，同时控制器也能够依据语法习惯，以及用户可能问出的问题，来判断用户发出的语音信号中是否存在提问对象。

例如在“这句话是什么读”中，语音信号中只有代词“这句话”，并不是明确的提问对象，因此，智能设备还需要结合书本中的用户所指的内容进行搜索，搜索得到用户的问题的答案，并进行显示。

在此实施例的基础上，控制器还能够结合机器学习算法来获取用户的语言习惯，以及用户的口音，来对用户的语音信号进行自动矫正，以获取到更加便于处理的语音信号。

当用户发出的语音信号中存在提问对象时，说明学生不是针对书本上的某个点进行的提问，不需要再打开摄像头，因此能够直接对提问对象进行搜索，获取到问题的答案并进行显示。

在本实施例中，当智能设备在检测到语音信号成为完整的提问语句，但语句中并未存在任何代词时，智能设备即可直接得到语句中的主语作为提问对象。

例如“苹果怎么写”中“苹果”能够作为明确的提问对象，或是“正五边形是什么样子的”中“正五边形”能够作为明确的提问对象，无需再结合书本进行搜索，因此智能设备能够直接对提问对象进行搜索，搜索得到用户问题的答案。

通过识别语音信号中是否存在明确的提问对象，对用户提出的问题进行划分，并划分为需要结合书本的问题，以及不需要结合书本的问题，并在在用户发出不需要结合书本的问题时，智能设备能够直接依据提问对象进行搜索，而不再打开摄像头，减少了不必要的浪费。

根据上述实施例的改进，在选取完成实时控制方式之后，智能设备上能够通过添加接近传感器或红外传感器等装置，来检测桌面即摄像头的摄像区域内是否存在书本，并在检测到书本时，才开始进入语音控制方式，以便语音信号打开摄像头，实现了对书本的实时检测。

同时在智能设备未检测到书本时，或在摄像头打开后，书本从桌面上拿开之后，智能设备能够检测到摄像头的摄像区域不存在书本，摄像头无需再开启，智能设备控制摄像头关闭，减少了不必要的浪费，实现了节能的效果。

摄像头每间隔一段时间，摄像头即可重新对摄像区域进行拍摄，获取到新的目标图像，以替换原有的目标图像，便于实现对书本检测，并在检测到目标图像中书本图像发生变化时，智能设备能够及时对摄像头的拍摄角度进行更改，实现了对书本的实时监控。

根据上述实施例的改进，在本实施例中，摄像头对摄像区域连续拍摄，在且拍摄过程中，书本的位置发生变化时，书本图像在目标图像上的位置发生了对应的变化，智能设备即可及时得知书本的移动动作；同时智能设备在分析书本移动前与书本移动后的目标图像时，智能设备也能够及时得知书本的移动方向，再根据书本的移动方向来更改摄像头的拍摄角度，使得摄像头能够向书本的移动方向转动，继而实现书本能够始终位于拍摄区域内，减小了书本由于移动脱离拍摄区域的可能。

在判断多个目标图像过程中，判断书本是否移动时，至少需要同一拍摄角度下的两个目标图像，两个目标图像中的书本图像的移动距离大于预设移动距离，此时，控制器即可判断书本开始移动。

同时智能设备也能够通过不同拍摄角度下的目标图像，结合目标图像的背景以及拍摄时摄像机的拍摄参数，来进一步判断书本是否发生了位置的更改，进而实现了判断书本是否发生了运动，在书本运动过程中，及时调节了摄像头的摄像区域，实现了对移动中的书本的实时监控。

在检测运动过程中的书本时，还能够结合上述实施例的调节方式，来使得书本能够位于摄像头拍摄区域的中部，最终实现了摄像头对书本的稳定监控。

摄像头优选地通过球头连接设置在智能设备上；在智能设备检测到目标图像中的书本图像不完整时，即书本的一部分未被拍摄到，此时，书本未完全落在摄像区域内，控制器能够得到书本与摄像区域的位置关系，并控制摄像头向书本所在的方向进行转动，从而使得书本能够落在摄像区域内。当前状态下，摄像头的摄像区域发生了变化，因此，摄像头能够再次获取新的目标图像，并在检测到书本图像不完整时，再次执行上述摄像头的拍摄角度更改动作，直至摄像头能够获取到包含完整书本图像的目标图像。同时，摄像头的多次获取目标图像，也便于实现对书本的实时定位。

由于摄像区域大于书本，因此书本图像在目标图像内的占比也较小，因此，控制器还能够在获取到全部的书本图像后，再次控制书本图像与目标图像边沿之间的间距，实现书本图像与目标图像边沿之间的间距均大于预设的间距，当前状态下的书本能够落在摄像区域的中部，减小了由于用户移动书本后，摄像头仍然需要更改其拍摄角度的可能，减少了不必要的浪费。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于智能设备摄像头的语音控制方法，其特征在于，包括：

采集用户的语音信号；语音信号的内容为用户需要提出的问题；

打开摄像头，在摄像区域内获取目标图像；

对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

结合所述用户的语音信号和所述目标图像上所述书本指定区域的内容，搜索出针对书本上指定区域的内容提出问题的答案；目标图像上书本指定区域的大小由语音信号的提问内容确定；

显示针对书本上指定区域的内容提出问题的答案；

采集用户的语音信号之后，打开摄像头之前还包括：

对采集到的所述用户的语音信号进行语音识别；

当识别出所述语音信号中存在提问意向时，打开所述摄像头；

对采集到的所述用户的语音信号进行语音识别之后，打开摄像头之前还包括：

判断采集到的所述用户的语音信号中是否存在提问对象；

当采集到的所述用户的语音信号中不存在提问对象时，打开摄像头。

2.根据权利要求1所述的一种基于智能设备摄像头的语音控制方法，其特征在于，判断采集到的所述用户的语音信号中是否存在提问对象之后还包括：

当采集到的所述用户的语音信号中存在提问对象时，搜索出针对所述提问对象所提出问题的答案；

显示所述提问对象所提出问题的答案。

3.根据权利要求1所述的一种基于智能设备摄像头的语音控制方法，其特征在于，采集用户的语音信号之前还包括：

解析用户的控制操作，当解析到用户所选择的控制方式为语音控制方式时，采集用户的语音信号。

4.一种智能设备，其特征在于，包括：

语音采集模块，用于采集用户的语音信号；语音信号的内容为用户需要提出的问题；

图像获取模块，用于打开摄像头，在摄像区域内获取目标图像；

图像识别模块，用于对所述目标图像进行识别，识别出所述用户在书本上所指定的区域；

答案搜索模块，用于结合所述用户的语音信号和所述目标图像上所述书本指定区域的内容，搜索出针对书本上指定区域的内容提出问题的答案；目标图像上书本指定区域的大小由语音信号的提问内容确定；

答案显示模块，用于显示针对书本上指定区域的内容提出问题的答案；

还包括：

语音识别模块，用于对采集到的所述用户的语音信号进行语音识别；当所述语音识别模块识别出所述语音信号中存在提问意向时，所述图像获取模块控制所述摄像头打开；

所述语音识别模块还用于判断采集到的所述用户的语音信号中是否存在提问对象；当采集到的所述用户的语音信号中不存在提问对象时，所述图像获取模块控制所述摄像头打开。

5.根据权利要求4所述的一种智能设备，其特征在于：

当采集到的所述用户的语音信号中存在提问对象时，所述答案搜索模块搜索出针对所述提问对象所提出问题的答案；

所述答案显示模块显示所述提问对象所提出问题的答案。

6.根据权利要求4所述的一种智能设备，其特征在于，还包括：

用户解析模块，用于解析用户的控制操作；

当解析到用户所选择的控制方式为语音控制方式时，所述语音采集模块采集用户的语音信号。

Images