CN111078921A - 一种科目识别方法及电子设备 - Google Patents

Abstract

本发明实施例涉及教育技术领域，公开一种科目识别方法及电子设备，该方法包括：获取输入的语音信息以及拍摄到的待识别内容的图像，识别图像的轮廓特征，并识别语音信息中的第一科目关键词以及图像中的第二科目关键词，从而根据轮廓特征、第一科目关键词以及第二科目关键词确定待识别内容对应的科目。可见，本发明通过综合语音信息与图像信息，可准确识别得到待识别内容的科目，进而可根据待识别内容及其对应的科目准确地进行搜题，用户使用体验良好。

Description

一种科目识别方法及电子设备

技术领域

本发明涉及教育技术领域，具体涉及一种科目识别方法及电子设备。

背景技术

当前，以家教机为代表的部分电子设备具备搜题功能，可根据用户输入的待识别信息搜索得到与待识别信息相关的内容。比如说，待识别信息可以为某一题目的题干，搜索到的相关内容可以为该题目的答案或者解题思路等。

在实际使用中发现，在直接根据待识别信息进行搜索时，由于待识别信息所包含的信息量较多，且可能包含有无效信息，使得搜索得到的内容可能涉及不同的科目，其中大部分科目的内容对于用户而言是无效的。可见，这种搜题方式容易搜索得出大量用户不关心的结果，准确率较低，用户使用体验不佳。因此，亟需开发一种可以识别科目的方法。

发明内容

针对上述缺陷，本发明实施例公开了一种科目识别方法及电子设备，能够提高识别待识别内容对应科目的准确率。

本发明实施例第一方面公开了一种科目识别方法，包括：

获取输入的语音信息以及拍摄到的待识别内容的图像；

识别所述图像的轮廓特征，并识别所述语音信息中的第一科目关键词以及所述图像中的第二科目关键词；

根据所述轮廓特征、所述第一科目关键词以及所述第二科目关键词确定所述待识别内容对应的科目。

作为一种可选的实施方式，在本发明实施例第一方面中，所述识别所述图像的轮廓特征，并识别所述语音信息中的第一科目关键词以及所述图像中的第二科目关键词，包括：

识别由所述图像上的字符所构成的连通域，根据所述连通域的特征识别得到所述图像包括的字符及所述字符的字符类型，将所述图像包括的字符及所述字符的字符类型设为所述图像的轮廓特征；

根据所述语音信息生成语音文本信息，根据科目数据库查找所述语音文本信息所包括的第一科目关键词；其中，所述科目数据库用于存储科目及所述科目对应的关键词；

识别所述图像包括的图像文本信息，根据科目数据库查找所述图像文本信息所包括的第二科目关键词。

作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述轮廓特征、所述第一科目关键词以及所述第二科目关键词确定所述待识别内容对应的科目，包括：

分析所述图像的轮廓特征中每一所述字符类型对应的字符数量在所述图像包括的字符数量中的占比，得到所述图像的轮廓特征对应的科目；

根据所述科目数据库查找同时对应于所述第一科目关键词及所述第二科目关键词的科目；

检测所述图像的轮廓特征对应的科目与所述对应于所述第一科目关键词及所述第二科目关键词的科目是否一致；

若一致，将所述图像的轮廓特征对应的科目确定为所述待识别内容对应的科目。

作为一种可选的实施方式，在本发明实施例第一方面中，在检测得到所述图像的轮廓特征对应的科目与所述同时对应于所述第一科目关键词及所述第二科目关键词的科目不一致之后，所述方法还包括：

输出询问信息以询问用户所述图像的轮廓特征对应的科目或者所述同时对应于所述第一科目关键词及所述第二科目关键词的科目是否为识别正确的科目；

若接收到所述用户输入的信息指示所述图像的轮廓特征对应的科目识别正确或者所述同时对应于所述第一科目关键词及所述第二科目关键词的科目识别正确，将识别正确的科目确定为所述待识别内容对应的科目。

作为一种可选的实施方式，在本发明实施例第一方面中，在所述根据所述轮廓特征、所述第一科目关键词以及所述第二科目关键词确定所述待识别内容对应的科目之后，所述方法还包括：

增加所述待识别内容对应的科目的累计识别次数；

统计在预设时长范围内所述科目数据库中存储的各个科目的累计识别次数，根据各个科目的累计识别次数为各个科目设置对应的权重；

根据各个科目对应的权重为各个科目选取相应数量的练习题组合得到练习卷，以供用户进行复习。

本发明实施例第二方面公开一种电子设备，包括：

获取单元，用于获取输入的语音信息以及拍摄到的待识别内容的图像；

识别单元，用于识别所述图像的轮廓特征，并识别所述语音信息中的第一科目关键词以及所述图像中的第二科目关键词；

科目确定单元，用于根据所述轮廓特征、所述第一科目关键词以及所述第二科目关键词确定所述待识别内容对应的科目。

作为一种可选的实施方式，在本发明实施例第二方面中，所述识别单元包括：

第一识别子单元，用于识别由所述图像上的字符所构成的连通域，根据所述连通域的特征识别得到所述图像包括的字符及所述字符的字符类型，将所述图像包括的字符及所述字符的字符类型设为所述图像的轮廓特征；

第二识别子单元，用于根据所述语音信息生成语音文本信息，根据科目数据库查找所述语音文本信息所包括的第一科目关键词；其中，所述科目数据库用于存储科目及所述科目对应的关键词；

第三识别子单元，用于识别所述图像包括的图像文本信息，根据科目数据库查找所述图像文本信息所包括的第二科目关键词。

作为一种可选的实施方式，在本发明实施例第二方面中，所述科目确定单元包括：

第一确定子单元，用于分析所述图像的轮廓特征中每一所述字符类型对应的字符数量在所述图像包括的字符数量中的占比，得到所述图像的轮廓特征对应的科目；

第二确定子单元，用于根据所述科目数据库查找同时对应于所述第一科目关键词及所述第二科目关键词的科目；

科目检测子单元，用于检测所述图像的轮廓特征对应的科目与所述对应于所述第一科目关键词及所述第二科目关键词的科目是否一致；

科目确定子单元，用于在检测到所述图像的轮廓特征对应的科目与所述对应于所述第一科目关键词及所述第二科目关键词的科目一致时，将所述图像的轮廓特征对应的科目确定为所述待识别内容对应的科目。

作为一种可选的实施方式，在本发明实施例第二方面中，所述电子设备还包括：

问询单元，用于在所述科目检测子单元检测得到所述图像的轮廓特征对应的科目与所述同时对应于所述第一科目关键词及所述第二科目关键词的科目不一致之后，输出询问信息以询问用户所述图像的轮廓特征对应的科目或者所述同时对应于所述第一科目关键词及所述第二科目关键词的科目是否为识别正确的科目；

科目确定单元，还用于在接收到所述用户输入的信息指示所述图像的轮廓特征对应的科目识别正确或者所述同时对应于所述第一科目关键词及所述第二科目关键词的科目识别正确，将识别正确的科目确定为所述待识别内容对应的科目。

作为一种可选的实施方式，在本发明实施例第二方面中，所述电子设备还包括：

次数累加单元，用于在所述科目确定单元根据所述轮廓特征、所述第一科目关键词以及所述第二科目关键词确定所述待识别内容对应的科目之后，增加所述待识别内容对应的科目的累计识别次数；

次数统计单元，用于统计在预设时长范围内所述科目数据库中存储的各个科目的累计识别次数，根据各个科目的累计识别次数为各个科目设置对应的权重；

组卷单元，用于根据各个科目对应的权重为各个科目选取相应数量的练习题组合得到练习卷，以供用户进行复习。

本发明实施例第三方面公开一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种科目识别方法。

本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种科目识别方法。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，获取输入的语音信息以及拍摄到的待识别内容的图像，识别图像的轮廓特征，并识别语音信息中的第一科目关键词以及图像中的第二科目关键词，从而根据轮廓特征、第一科目关键词以及第二科目关键词确定待识别内容对应的科目。可见，本发明通过综合语音信息与图像信息，可准确识别得到待识别内容的科目，进而可根据待识别内容及其对应的科目准确地进行搜题，用户使用体验良好。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种科目识别方法的流程示意图；

图2为本发明实施例提供的另一种科目识别方法的流程示意图；

图3为本发明实施例提供的一种电子设备的结构示意图；

图4是本发明实施例提供的另一种电子设备的结构示意图；

图5是本发明实施例提供的另一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种科目识别方法及电子设备，可以简化电子设备的操作流程，提升用户使用体验。以下从电子设备角度出发，结合附图进行详细描述。

实施例一

请参阅图1，图1是本发明实施例公开的一种科目识别方法的流程示意图。其中，图1所描述的题目的识别方法适用于家教机、智能手机、平板电脑及个人电脑等电子设备。本发明实施例以电子设备为例描述题目的识别方法，不应构成对该方法的限定。如图1所示，该题目的识别方法可以包括以下步骤。

101、获取输入的语音信息以及拍摄到的待识别内容的图像。

本发明实施例中，用户在根据题目进行搜题时，为了确保搜索到较为准确的题目相关的内容，电子设备将会对待识别内容的科目进行识别，由电子设备接收并识别用户输入的语音信息，从而根据所拍摄到的待识别内容的图像以及语音信息执行相对应的操作。例如在如下应用场景中，用户学习时在书本上遇到了不会发音的汉语拼音“e”，此时用户输入语音信息“这个拼音怎么读”，同时用手指在书本上指示汉语拼音“e”的位置，电子设备在获取到语音信息时，使用前置摄像头拍摄到待识别内容以及用户在待识别内容上所指示的位置，用以后续步骤进行识别判定。

作为一种可选的实施方式，本发明实施例中，电子设备在获取到语音信息时，可以弹出位于显示屏上的摄像头，其中，弹出后的摄像头的拍摄方向朝向学习桌面，并且弹出后的摄像头可以对学习桌面进行拍摄，以拍摄到待识别内容以及用户在待识别内容上所指示的位置。

作为另一种可选的实施方式，本发明实施例中，待识别内容可以是放置在特定背景板上的课本或者试卷等带有字符信息的物品，其中，特定背景板的边缘设置有识别框线，摄像头可通过识别特定背景板边缘的识别框线，快速准确地识别到特定背景板在学习桌面上的位置，进而对特定背景板上的所放置的待识别内容进行拍摄。

作为另一种可选的实施方式，本发明实施例中，电子设备的显示屏上边缘可以插有镜片，该镜片可以朝向学习桌面区域，以便于该镜片中可以存在学习桌面区域的成像；在此基础上，电子设备在获取到语音信息时，可以弹出位于显示屏上的摄像头，其中，弹出后的摄像头的拍摄方向朝向该镜片，并且弹出后的摄像头可以对该镜片中的成像进行拍摄，以拍摄到待识别内容以及用户在待识别内容上所指示的位置。

作为另一种可选的实施方式，本发明实施例中，还可在镜片上设置投影设备，投影设备在镜片弹出时同步开启以在学习桌面上投射灯光，灯光用于指示摄像头通过镜片所拍摄得到的位置，从而引导用户将待识别内容放置于灯光所指示的位置中，用户可在电子设备摆放角度不同的情况下，准确地将待识别内容放置在电子设备所能拍摄得到的位置。

102、识别图像的轮廓特征，并识别语音信息中的第一科目关键词以及图像中的第二科目关键词。

本发明实施例中，将识别图像及语音信息所包括的特征信息，通过较多的特在学习尽可能地提高对待识别内容的识别准确率。

作为一种可选的实施方式，识别图像的轮廓特征，并识别语音信息中的第一科目关键词以及图像中的第二科目关键词，可以通过以下方式实现：识别由图像上的字符所构成的连通域，根据连通域的特征识别得到图像包括的字符及字符的字符类型，将图像包括的字符及字符的字符类型设为图像的轮廓特征；根据语音信息生成语音文本信息，根据科目数据库查找语音文本信息所包括的第一科目关键词；其中，科目数据库用于存储科目及科目对应的关键词；以及，识别图像包括的图像文本信息，根据科目数据库查找图像文本信息所包括的第二科目关键词。

具体地，图像上构成题目的字符通常会集中排列，因此可将题目所在的图像区域视为由字符所构成的连通域，通过使用边缘检测算法并设定适当的检测精度，即可检测得到由字符所构成的连通域，从而在进行字符识别时只需对连通域进行识别，加快识别效率；在识别得到连通域后进一步使用光学字符识别方法识别得到连通域上所包括的字符，并对字符类型进行识别，如识别得到其中汉语字符、英语字符及数学字符等；将获得的语音信息转化为语音文本信息，进而在科目数据库中查询语音文本信息所包括的第一科目关键词；在识别得到图像上连续的字符之后，再在科目数据库中查询字符所代表的图像文本信息，从而获得图像文本信息所包括的第二科目关键词。其中，科目数据库存储有各科目对应的关键词，如(语文：拼音、朗读、默写、听写及背诵等)(数学：求解、方程式及数列等)。假设在步骤101所描述的场景下，通过连通域识别得到汉语字符(请朗读以下汉语拼音)以及汉语拼音字符(e)；通过语音信息识别得到第一科目关键词(拼音)；以及根据图像文本信息识别得到第二科目关键词(朗读)。可见，本发明实施例可迅速准确地从多个角度识别得到图像及语音信息所包括的特征信息。

作为另一种可选的实施方式，除了识别图像上题目所在区域的科目特征外，考虑到同一课本或者同一试卷通常只包括某一特定科目的内容，所以，还可对处于同一图像上的其它题目的特征信息进行识别，作为同一图像上难以识别的题目的参考依据。

应当理解的是，本发明实施例中待识别内容的特征信息除了上述的轮廓特征、第一科目关键词及第二科目关键词之外，还可以是指题目上预设的科目标识或者是同一图像上其它题目的科目信息等，本发明实施例通过识别得到图像的轮廓特征和第二科目关键词，以及识别语音信息的第一科目关键词来作为待识别内容的特征信息，不构成对其它特征信息的限定。

103、根据轮廓特征、第一科目关键词以及第二科目关键词确定待识别内容对应的科目。

本发明实施例中，将根据步骤102中识别得到的图像及语音信息所包括的特征信息，对待识别内容对应的科目进行确定。

作为一种可选的实施方式，根据轮廓特征、第一科目关键词以及第二科目关键词确定待识别内容对应的科目，可以通过以下方式实现：分析图像的轮廓特征中每一字符类型对应的字符数量在图像包括的字符数量中的占比，得到图像的轮廓特征对应的科目；根据科目数据库查找同时对应于第一科目关键词及第二科目关键词的科目；以及，检测图像的轮廓特征对应的科目与同时对应于第一科目关键词及第二科目关键词的科目是否一致，若一致，将图像的轮廓特征对应的科目确定为待识别内容对应的科目。

具体地，根据在步骤102中识别得到的轮廓特征所包括的汉语字符(请朗读以下汉语拼音)以及汉语拼音字符(e)，计算得到汉语字符的数量在图像所包括的字符中的占比为90％，汉语拼音字符的数量在图像所包括的字符中的占比为10％，由于汉语字符的数量占图像所包括字符数量的绝大多数，且图像中包括了汉语拼音字符，所以此时认定图像的轮廓特征对应的科目为语文；通过语音信息识别得到第一科目关键词(拼音)，以及根据图像文本信息识别得到第二科目关键词(朗读)，查询得到(拼音)以及(朗读)在科目数据库中对应的科目为语文，由于图像的轮廓特征对应的科目与第一科目关键词及第二科目关键词对应的科目皆为语文，可确定待识别内容对应的科目为语文。可见，通过轮廓特征、第一科目关键词及第二科目关键词对待识别内容的科目进行综合判别，确保了识别过程的准确可靠，识别准确率高。

本发明实施例中，假设题目为“工人甲每天可制作2件产品，请问工人甲制作完成10件产品需要多少天？”，且用户输入的语音信息为“这道题怎么解答”，此时通过轮廓特征识别得到的汉语字符数量占比远大于数字字符，依据轮廓特征认定的科目为语文；根据语音信息识别得到第一科目关键词(计算)在科目数据库中对应于数学、化学及物理；而根据图像文本信息无法在科目数据库中识别得到第二科目关键词，在语音信息及图像包括的特征信息较少且特征信息不明显的情况下，无法准确获知待识别内容的科目，此时需要征询用户的意见。

作为一种可选的实施方式，在检测得到图像的轮廓特征对应的科目与同时对应于第一科目关键词及第二科目关键词的科目不一致之后，输出询问信息以询问用户图像的轮廓特征对应的科目或者同时对应于第一科目关键词及第二科目关键词的科目是否为识别正确的科目；若接收到用户输入的信息指示所述图像的轮廓特征对应的科目识别正确或者同时对应于第一科目关键词及第二科目关键词的科目识别正确，将识别正确的科目确定为待识别内容对应的科目。

具体地，在本步骤所描述的场景中，由于轮廓特征对应的科目、第一科目关键词对应的科目及第二科目关键词对应的科目不一致，需要征询用户意见以确定正确的科目，所以输出询问信息询问所识别得到的语文、数学、化学及物理中是否存在识别正确的科目，假设用户输入的信息指示数学为识别正确的科目，则将数学确定为该待识别内容对应的科目。可见，对于无法依据特征信息进行科目识别的待识别内容，通过询问用户并获取用户意见，可避免误判。

作为另一种可选的实施方式，在获取得到用户指出的识别正确的科目并将该科目设为待识别内容对应的科目之后，可对科目数据库进行更新，例如将题目中的(完成)(多少+量词)添加到科目数据库中并设为数学对应的二级科目关键词，从而在识别上述难以识别的待识别内容时，可再根据二级科目关键词进行识别，提高对难以识别待识别内容的识别概率。

可见，本发明实施例中，通过综合语音信息与待识别内容的图像对应的特征信息，可较为准确地识别待识别内容的科目，进而可根据待识别内容所包括的具体字符及其对应的科目进行搜题等操作，提升了用户的使用体验。

实施例二

请参阅图2，图2为本发明另一实施例提供的题目的识别方法的流程示意图。如图2所示，该题目的识别方法可以包括以下步骤。

201、获取输入的语音信息以及拍摄到的待识别内容的图像。

本发明实施例中，电子设备获取用户指示存在待识别内容的图像以及用户输入的语音信息。

202、识别图像的轮廓特征，并识别语音信息中的第一科目关键词以及图像中的第二科目关键词。

本发明实施例中，初步对获取到的图像及语音信息进行识别，获取其中所包括的若干特征信息。

203、根据轮廓特征、第一科目关键词以及第二科目关键词确定待识别内容对应的科目。

本发明实施例中，通过综合分析步骤202获取到的若干特征信息，对待识别内容对应的科目进行确定。

204、根据每一科目的累计识别次数生成练习卷。

本发明实施例中，对于用户搜题频率较高的科目，可认为用户对该科目的掌握程度较低，因此需要较为频繁地对该科目的内容进行搜题，因此，可统计用户对各科目的累计识别次数，进而生成练习卷供用户对知识点进行巩固学习。

作为一种可选的实施方式，在根据轮廓特征、第一科目关键词以及第二科目关键词确定待识别内容对应的科目之后，增加待识别内容对应的科目的累计识别次数，统计在预设时长范围内科目数据库中存储的各个科目的累计识别次数，根据各个科目的累计识别次数为各个科目设置对应的权重，从而根据各个科目对应的权重为各个科目选取相应数量的练习题组合得到练习卷，以供用户进行复习。具体地，假设用户在对数学题目进行识别之后，电子设备对该用户识别数学题目的累计识别次数进行增加，并统计到该用户在一周内识别语文题目20次，识别数学题目10次，识别英语题目10次，则为该用户的上述科目设定2：1：1的权重，并根据权重选取相应数量的练习题，如10道语文题、5道数学题和5道英语题组成该用户本周的练习卷，从而帮助用户更好地巩固学习过程中的薄弱环节。

进一步可选地，在用户进行搜题后，除了统计用户识别该科目题目的次数外，还可进一步根据题目的科目关键词记录题目的具体知识点，从而可根据知识点选取与用户所识别题目更为接近的练习题供用户学习，使学习效果更为显著。

可见，本发明实施例中，根据用户的搜题历史选取相应的练习题，可帮助用户对掌握薄弱的知识点进行复习巩固。

实施例三

请参阅图3，图3为本发明实施例公开的一种电子设备的结构示意图。如图3所示，该电子设备可以包括：

获取单元301，用于获取输入的语音信息以及拍摄到的待识别内容的图像；

识别单元302，用于识别图像的轮廓特征，并识别语音信息中的第一科目关键词以及图像中的第二科目关键词；

科目确定单元303，用于根据轮廓特征、第一科目关键词以及第二科目关键词确定待识别内容对应的科目；

其中，识别单元302包括：

第一识别子单元3021，用于识别由图像上的字符所构成的连通域，根据连通域的特征识别得到图像包括的字符及字符的字符类型，将图像包括的字符及字符的字符类型设为图像的轮廓特征；

第二识别子单元3022，用于根据语音信息生成语音文本信息，根据科目数据库查找语音文本信息所包括的第一科目关键词；其中，科目数据库用于存储科目及科目对应的关键词；

第三识别子单元3023，用于识别图像包括的图像文本信息，根据科目数据库查找图像文本信息所包括的第二科目关键词；

以及，科目确定单元303包括：

第一确定子单元3031，用于分析图像的轮廓特征中每一字符类型对应的字符数量在图像包括的字符数量中的占比，得到图像的轮廓特征对应的科目；

第二确定子单元3032，用于根据科目数据库查找同时对应于第一科目关键词及第二科目关键词的科目；

科目检测子单元3033，用于检测图像的轮廓特征对应的科目与同时对应于第一科目关键词及第二科目关键词的科目是否一致；

科目确定子单元3034，用于在科目检测子单元3033检测到图像的轮廓特征对应的科目与对应于第一科目关键词及第二科目关键词的科目一致时，将图像的轮廓特征对应的科目确定为待识别内容对应的科目；

问询单元304，用于在科目检测子单元3033检测得到图像的轮廓特征对应的科目与同时对应于第一科目关键词及第二科目关键词的科目不一致之后，输出询问信息以询问用户图像的轮廓特征对应的科目或者同时对应于第一科目关键词及第二科目关键词的科目是否为识别正确的科目；

科目确定单元303，还用于在接收到用户输入的信息指示图像的轮廓特征对应的科目识别正确或者同时对应于第一科目关键词及第二科目关键词的科目识别正确时，将识别正确的科目确定为待识别内容对应的科目。

本发明实施例中，获取单元301获取得到用户输入的语音信息及待识别内容的图像，识别单元302对上述信息进行分析得到待识别内容的若干特征信息，从而科目确定单元303根据若干特征信息确定待识别内容对应的科目。

作为一种可选的实施方式，本发明实施例中，获取单元301在获取到语音信息时，可以弹出位于显示屏上的摄像头，其中，弹出后的摄像头的拍摄方向朝向学习桌面，并且弹出后的摄像头可以对学习桌面进行拍摄，以拍摄到待识别内容以及用户在待识别内容上所指示的位置。

作为另一种可选的实施方式，本发明实施例中，待识别内容可以是放置在特定背景板上的课本或者试卷等带有字符信息的物品，其中，特定背景板的边缘设置有识别框线，获取单元301可通过识别特定背景板边缘的识别框线，快速准确地识别到特定背景板在学习桌面上的位置，进而控制摄像头对特定背景板上的所放置的待识别内容进行拍摄。

作为另一种可选的实施方式，本发明实施例中，电子设备的显示屏上边缘可以插有镜片，该镜片可以朝向学习桌面区域，以便于该镜片中可以存在学习桌面区域的成像；在此基础上，获取单元301在获取到语音信息时，可以弹出位于显示屏上的摄像头，其中，弹出后的摄像头的拍摄方向朝向该镜片，并且弹出后的摄像头可以对该镜片中的成像进行拍摄，以拍摄到待识别内容以及用户在待识别内容上所指示的位置。

作为另一种可选的实施方式，本发明实施例中，还可在镜片上设置投影设备，投影设备在镜片弹出时同步开启以在学习桌面上投射灯光，灯光用于指示摄像头通过镜片所拍摄得到的位置，从而引导用户将待识别内容放置于灯光所指示的位置中，用户可在电子设备摆放角度不同的情况下，准确地将待识别内容放置在电子设备所能拍摄得到的位置。

作为一种可选的实施方式，识别单元302识别图像的轮廓特征，并识别语音信息中的第一科目关键词以及图像中的第二科目关键词，可以通过以下方式实现：第一识别单元3021识别由图像上的字符所构成的连通域，根据连通域的特征识别得到图像包括的字符及字符的字符类型，将图像包括的字符及字符的字符类型设为图像的轮廓特征；第二识别单元3022根据语音信息生成语音文本信息，根据科目数据库查找语音文本信息所包括的第一科目关键词；其中，科目数据库用于存储科目及科目对应的关键词；以及，第三识别子单元3023识别图像包括的图像文本信息，根据科目数据库查找图像文本信息所包括的第二科目关键词。

具体地，图像上构成题目的字符通常会集中排列，因此第一识别单元3021可将题目所在的图像区域视为由字符所构成的连通域，通过使用边缘检测算法并设定适当的检测精度，即可检测得到由字符所构成的连通域，从而在进行字符识别时只需对连通域进行识别，加快识别效率；在第一识别单元3021识别得到连通域后第三识别子单元3023进一步使用光学字符识别方法识别得到连通域上所包括的字符，并对字符类型进行识别，如识别得到其中汉语字符、英语字符及数学字符等；第二识别单元3022将获得的语音信息转化为语音文本信息，进而在科目数据库中查询语音文本信息所包括的第一科目关键词；在识别得到图像上连续的字符之后，再在科目数据库中查询字符所代表的图像文本信息，从而获得图像文本信息所包括的第二科目关键词。其中，科目数据库存储有各科目对应的关键词，如(语文：拼音、朗读、默写、听写及背诵等)(数学：求解、方程式及数列等)。假设在步骤101所描述的场景下，通过连通域识别得到汉语字符(请朗读以下汉语拼音)以及汉语拼音字符(e)；通过语音信息识别得到第一科目关键词(拼音)；以及根据图像文本信息识别得到第二科目关键词(朗读)。可见，本发明实施例可迅速准确地从多个角度识别得到图像及语音信息所包括的特征信息。

作为一种可选的实施方式，科目确定单元303根据轮廓特征、第一科目关键词以及第二科目关键词确定待识别内容对应的科目，可以通过以下方式实现：第一确定子单元3031分析图像的轮廓特征中每一字符类型对应的字符数量在图像包括的字符数量中的占比，得到图像的轮廓特征对应的科目；第二确定子单元3032根据科目数据库查找同时对应于第一科目关键词及第二科目关键词的科目；以及，科目检测子单元3033检测图像的轮廓特征对应的科目与同时对应于第一科目关键词及第二科目关键词的科目是否一致，若一致，科目确定子单元3034将图像的轮廓特征对应的科目确定为待识别内容对应的科目。

具体地，根据识别单元302中识别得到的轮廓特征所包括的汉语字符(请朗读以下汉语拼音)以及汉语拼音字符(e)，第一确定子单元3031计算得到汉语字符的数量在图像所包括的字符中的占比为90％，汉语拼音字符的数量在图像所包括的字符中的占比为10％，由于汉语字符的数量占图像所包括字符数量的绝大多数，且图像中包括了汉语拼音字符，所以此时认定图像的轮廓特征对应的科目为语文；第二确定子单元3032通过语音信息识别得到第一科目关键词(拼音)，以及根据图像文本信息识别得到第二科目关键词(朗读)，查询得到(拼音)以及(朗读)在科目数据库中对应的科目为语文，由于科目检测子单元3033检测到图像的轮廓特征对应的科目与第一科目关键词及第二科目关键词对应的科目皆为语文，科目确定子单元3034可确定待识别内容对应的科目为语文。可见，通过轮廓特征、第一科目关键词及第二科目关键词对待识别内容的科目进行综合判别，确保了识别过程的准确可靠，识别准确率高。

作为一种可选的实施方式，在科目检测子单元3033检测得到图像的轮廓特征对应的科目与同时对应于第一科目关键词及第二科目关键词的科目不一致之后，问询单元304输出询问信息以询问用户图像的轮廓特征对应的科目或者同时对应于第一科目关键词及第二科目关键词的科目是否为识别正确的科目；若接收到用户输入的信息指示所述图像的轮廓特征对应的科目识别正确或者同时对应于第一科目关键词及第二科目关键词的科目识别正确，科目确定单元303将识别正确的科目确定为待识别内容对应的科目。

具体地，在本步骤所描述的场景中，由于轮廓特征对应的科目、第一科目关键词对应的科目及第二科目关键词对应的科目不一致，需要征询用户意见以确定正确的科目，所以问询单元304输出询问信息询问所识别得到的语文、数学、化学及物理中是否存在识别正确的科目，假设用户输入的信息指示数学为识别正确的科目，则科目确定单元303将数学确定为该待识别内容对应的科目。可见，对于无法依据特征信息进行科目识别的待识别内容，通过询问用户并获取用户意见，可避免误判。

作为另一种可选的实施方式，在科目确定单元303获取得到用户指出的识别正确的科目并将该科目设为待识别内容对应的科目之后，科目检测子单元3033可对科目数据库进行更新，例如将题目中的(完成)(多少+量词)添加到科目数据库中并设为数学对应的二级科目关键词，从而在识别上述难以识别的待识别内容时，可再根据二级科目关键词进行识别，提高对难以识别待识别内容的识别概率。

可见，本发明实施例中，识别单元302通过综合语音信息与待识别内容的图像对应的特征信息，可较为准确地识别待识别内容的科目，进而可根据待识别内容所包括的具体字符及其对应的科目进行搜题等操作，提升了用户的使用体验。

实施例四

请参阅图4，图4为本发明另一实施例提供的一种电子设备的结构示意图；图4所示的电子设备是在图3所示的电子设备的基础上进行优化得到的，图4所示的电子设备还可以包括：

次数累加单元305，用于在科目确定单元303根据轮廓特征、第一科目关键词以及第二科目关键词确定待识别内容对应的科目之后，增加待识别内容对应的科目的累计识别次数；

次数统计单元306，用于统计在预设时长范围内科目数据库中存储的各个科目的累计识别次数，根据各个科目的累计识别次数为各个科目设置对应的权重；

组卷单元307，用于根据各个科目对应的权重为各个科目选取相应数量的练习题组合得到练习卷，以供用户进行复习。

本发明实施例中，通过次数累加单元305及次数统计单元306对用户的搜题历史进行统计，进而组卷单元307根据统计得到的信息组合练习卷。

作为一种可选的实施方式，次数累加单元305在科目确定单元303根据轮廓特征、第一科目关键词以及第二科目关键词确定待识别内容对应的科目之后，增加待识别内容对应的科目的累计识别次数，次数统计单元306统计在预设时长范围内科目数据库中存储的各个科目的累计识别次数，根据各个科目的累计识别次数为各个科目设置对应的权重，从而组卷单元307根据各个科目对应的权重为各个科目选取相应数量的练习题组合得到练习卷，以供用户进行复习。具体地，假设用户在对数学题目进行识别之后，次数累加单元305对该用户识别数学题目的累计识别次数进行增加，次数统计单元306统计到该用户在一周内识别语文题目20次，识别数学题目10次，识别英语题目10次，则为该用户的上述科目设定2：1：1的权重，组卷单元307根据权重选取相应数量的练习题，如10道语文题、5道数学题和5道英语题组成该用户本周的练习卷，从而帮助用户更好地巩固学习过程中的薄弱环节。

进一步可选地，在用户进行搜题后，次数统计单元306除了统计用户识别该科目题目的次数外，还可进一步根据题目的科目关键词记录题目的具体知识点，从而组卷单元307可根据知识点选取与用户所识别题目更为接近的练习题供用户学习，使学习效果更为显著。

可见，本发明实施例中，组卷单元307根据用户的搜题历史选取相应的练习题，可帮助用户对掌握薄弱的知识点进行复习巩固。

实施例五

请参阅图5，图5是本发明另一实施例公开的另一种电子设备的结构示意图。如图5所示，该可电子设备可以包括：

存储有可执行程序代码的存储器401；

与存储器401耦合的处理器402；

其中，处理器402调用存储器401中存储的可执行程序代码，执行图1和图2任意一种科目识别方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1和图2任意一种科目识别方法。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种科目识别方法及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种科目识别方法，其特征在于，包括：

获取输入的语音信息以及拍摄到的待识别内容的图像；

识别所述图像的轮廓特征，并识别所述语音信息中的第一科目关键词以及所述图像中的第二科目关键词；

根据所述轮廓特征、所述第一科目关键词以及所述第二科目关键词确定所述待识别内容对应的科目。

2.根据权利要求1所述的方法，其特征在于，所述识别所述图像的轮廓特征，并识别所述语音信息中的第一科目关键词以及所述图像中的第二科目关键词，包括：

识别由所述图像上的字符所构成的连通域，根据所述连通域的特征识别得到所述图像包括的字符及所述字符的字符类型，将所述图像包括的字符及所述字符的字符类型设为所述图像的轮廓特征；

根据所述语音信息生成语音文本信息，根据科目数据库查找所述语音文本信息所包括的第一科目关键词；其中，所述科目数据库用于存储科目及所述科目对应的关键词；

识别所述图像包括的图像文本信息，根据科目数据库查找所述图像文本信息所包括的第二科目关键词。

3.根据权利要求2所述的方法，其特征在于，所述根据所述轮廓特征、所述第一科目关键词以及所述第二科目关键词确定所述待识别内容对应的科目，包括：

分析所述图像的轮廓特征中每一所述字符类型对应的字符数量在所述图像包括的字符数量中的占比，得到所述图像的轮廓特征对应的科目；

根据所述科目数据库查找同时对应于所述第一科目关键词及所述第二科目关键词的科目；

检测所述图像的轮廓特征对应的科目与所述同时对应于所述第一科目关键词及所述第二科目关键词的科目是否一致；

若一致，将所述图像的轮廓特征对应的科目确定为所述待识别内容对应的科目。

4.根据权利要求3所述的方法，其特征在于，在检测得到所述图像的轮廓特征对应的科目与所述同时对应于所述第一科目关键词及所述第二科目关键词的科目不一致之后，所述方法还包括：

输出询问信息以询问用户所述图像的轮廓特征对应的科目或者所述同时对应于所述第一科目关键词及所述第二科目关键词的科目是否为识别正确的科目；

若接收到所述用户输入的信息指示所述图像的轮廓特征对应的科目识别正确或者所述同时对应于所述第一科目关键词及所述第二科目关键词的科目识别正确时，将识别正确的科目确定为所述待识别内容对应的科目。

5.根据权利要求2～4任一项所述的方法，其特征在于，在所述根据所述轮廓特征、所述第一科目关键词以及所述第二科目关键词确定所述待识别内容对应的科目之后，所述方法还包括：

增加所述待识别内容对应的科目的累计识别次数；

统计在预设时长范围内所述科目数据库中存储的各个科目的累计识别次数，根据各个科目的累计识别次数为各个科目设置对应的权重；

根据各个科目对应的权重为各个科目选取相应数量的练习题组合得到练习卷，以供用户进行复习。

6.一种电子设备，其特征在于，包括：

获取单元，用于获取输入的语音信息以及拍摄到的待识别内容的图像；

识别单元，用于识别所述图像的轮廓特征，并识别所述语音信息中的第一科目关键词以及所述图像中的第二科目关键词；

科目确定单元，用于根据所述轮廓特征、所述第一科目关键词以及所述第二科目关键词确定所述待识别内容对应的科目。

7.根据权利要求6所述的电子设备，其特征在于，所述识别单元包括：

第一识别子单元，用于识别由所述图像上的字符所构成的连通域，根据所述连通域的特征识别得到所述图像包括的字符及所述字符的字符类型，将所述图像包括的字符及所述字符的字符类型设为所述图像的轮廓特征；

第二识别子单元，用于根据所述语音信息生成语音文本信息，根据科目数据库查找所述语音文本信息所包括的第一科目关键词；其中，所述科目数据库用于存储科目及所述科目对应的关键词；

第三识别子单元，用于识别所述图像包括的图像文本信息，根据科目数据库查找所述图像文本信息所包括的第二科目关键词。

8.根据权利要求7所述的电子设备，其特征在于，所述科目确定单元包括：

第一确定子单元，用于分析所述图像的轮廓特征中每一所述字符类型对应的字符数量在所述图像包括的字符数量中的占比，得到所述图像的轮廓特征对应的科目；

第二确定子单元，用于根据所述科目数据库查找同时对应于所述第一科目关键词及所述第二科目关键词的科目；

科目检测子单元，用于检测所述图像的轮廓特征对应的科目与所述同时对应于所述第一科目关键词及所述第二科目关键词的科目是否一致；

科目确定子单元，用于在检测到所述图像的轮廓特征对应的科目与所述对应于所述第一科目关键词及所述第二科目关键词的科目一致时，将所述图像的轮廓特征对应的科目确定为所述待识别内容对应的科目。

9.根据权利要求8所述的电子设备，其特征在于，所述电子设备还包括：

问询单元，用于在所述科目检测子单元检测得到所述图像的轮廓特征对应的科目与所述同时对应于所述第一科目关键词及所述第二科目关键词的科目不一致之后，输出询问信息以询问用户所述图像的轮廓特征对应的科目或者所述同时对应于所述第一科目关键词及所述第二科目关键词的科目是否为识别正确的科目；

科目确定单元，还用于在接收到所述用户输入的信息指示所述图像的轮廓特征对应的科目识别正确或者所述同时对应于所述第一科目关键词及所述第二科目关键词的科目识别正确时，将识别正确的科目确定为所述待识别内容对应的科目。

10.根据权利要求7～9任一项所述的电子设备，其特征在于，所述电子设备还包括：

次数累加单元，用于在所述科目确定单元根据所述轮廓特征、所述第一科目关键词以及所述第二科目关键词确定所述待识别内容对应的科目之后，增加所述待识别内容对应的科目的累计识别次数；

次数统计单元，用于统计在预设时长范围内所述科目数据库中存储的各个科目的累计识别次数，根据各个科目的累计识别次数为各个科目设置对应的权重；

组卷单元，用于根据各个科目对应的权重为各个科目选取相应数量的练习题组合得到练习卷，以供用户进行复习。

Images