CN108287903A - 一种与投影相结合的搜题方法及智能笔 - Google Patents
一种与投影相结合的搜题方法及智能笔 Download PDFInfo
- Publication number
- CN108287903A CN108287903A CN201810074787.4A CN201810074787A CN108287903A CN 108287903 A CN108287903 A CN 108287903A CN 201810074787 A CN201810074787 A CN 201810074787A CN 108287903 A CN108287903 A CN 108287903A
- Authority
- CN
- China
- Prior art keywords
- smart pen
- search
- module
- search result
- topic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 22
- 235000013399 edible fruits Nutrition 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 11
- 108010001267 Protein Subunits Proteins 0.000 claims description 2
- 230000006378 damage Effects 0.000 abstract description 10
- 230000004438 eyesight Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 12
- 238000003825 pressing Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 208000027418 Wounds and injury Diseases 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 208000014674 injury Diseases 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000005484 gravity Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000011017 operating method Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 206010057315 Daydreaming Diseases 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种与投影相结合的搜题方法及智能笔,该方法包括:智能笔对输入的搜索指令进行识别;如果识别出所述搜索指令是通过触发所述智能笔的语音搜索键输入的搜索指令,所述智能笔采集输入的语音信息;所述智能笔将所述语音信息上报给后台服务器,以触发所述后台服务器从所述语音信息中识别出语音题目,并由所述后台服务器从数据库中查询与所述语音题目相匹配的第一搜索结果;所述智能笔接收所述后台服务器发送的所述第一搜索结果;所述智能笔将所述第一搜索结果进行投影输出。实施本发明实施例,能够提高搜题的效率,降低注视电子设备的屏幕对视力的伤害。
Description
技术领域
本发明涉及互联网技术领域,具体涉及一种与投影相结合的搜题方法及智能笔。
背景技术
目前,越来越多的学生采用手机、平板等电子设备上的搜题APP来辅助学习,搜题APP能够获取题目并从题库中提取该题目的解题步骤或答案,以供用户参考。然而,市面上的搜题APP的操作过程十分繁琐。例如,用户若要使用搜题APP进行搜题,需要进行如下步骤:解锁电子设备;查找想要启动的搜题APP;启动该搜题APP;输入待搜索的题目内容;当搜索到结果时在电子设备的屏幕上查看该题目的搜索结果。
对于年龄较小的低年级学生而言,其书面表达能力较弱,难以通过文字的形式完整地输入待搜索的题目,因此市面上的搜题APP对于这类学生来说操作复杂并且技术门槛较高,从而导致搜题效率较低。同时,低年级学生正处于生长发育阶段,长时间地注视电子设备的屏幕,会对视力产生伤害。
发明内容
本发明实施例公开了一种与投影相结合的搜题方法及智能笔,能够提高搜题的效率,降低注视电子设备的屏幕对视力的伤害。
本发明实施例第一方面公开一种与投影相结合的搜题方法,所述方法包括:
智能笔对输入的搜索指令进行识别;
如果识别出所述搜索指令是通过触发所述智能笔的语音搜索键输入的搜索指令,所述智能笔采集输入的语音信息;
所述智能笔将所述语音信息上报给后台服务器,以触发所述后台服务器从所述语音信息中识别出语音题目,并由所述后台服务器从数据库中查询与所述语音题目相匹配的第一搜索结果;
所述智能笔接收所述后台服务器发送的所述第一搜索结果;
所述智能笔将所述第一搜索结果进行投影输出。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
如果识别出所述搜索指令是通过触发所述智能笔的拍照键输入的搜索指令,所述智能笔投影出显性框,并控制所述智能笔的摄像头对所述显性框内的内容进行拍照,得到目标图像;
所述智能笔检测所述目标图像的投影画面中被选取的第一区域,所述目标图像的投影画面是所述目标图像被所述智能笔投影输出的投影画面;
所述智能笔将所述第一区域限定的画面内容上报给所述后台服务器,以触发所述后台服务器从所述画面内容中提取出文字题目,并由所述后台服务器从所述数据库中查询与所述文字题目相匹配的第二搜索结果;
所述智能笔接收所述后台服务器发送的所述第二搜索结果;
所述智能笔将所述第二搜索结果进行投影输出。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述智能笔投影出显性框之后,所述方法还包括:
所述智能笔控制所述智能笔的摄像头进行定焦;
所述智能笔检测所述拍照键是否被第一操作,所述第一操作与触发所述拍照键输入搜索指令时的操作不同;
如果所述智能笔检测到所述拍照键被第一操作,所述智能笔执行所述控制所述智能笔的摄像头对所述显性框内的内容进行拍照,得到目标图像。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述智能笔对输入的搜索指令进行识别之前,所述方法还包括:
所述智能笔根据所述智能笔的传感器采集到的数据判断所述智能笔是否处于被握持状态,如果所述智能笔处于所述被握持状态,所述智能笔执行所述的对输入的搜索指令进行识别;
所述智能笔将所述第一搜索结果进行投影输出的方式具体为:
所述智能笔检测通过预设的手势触发的翻页指令;
所述智能笔根据所述翻页指令以滑动翻页的形式对所述第一搜索结果进行投影输出;
以及,所述智能笔将所述第二搜索结果进行投影输出的方式具体为:
所述智能笔检测通过预设的手势触发的翻页指令;
所述智能笔根据所述翻页指令以滑动翻页的形式对所述第二搜索结果进行投影输出。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述智能笔将所述第一搜索结果进行投影输出之后,所述方法还包括:
所述智能笔对所述第一搜索结果中的内容进行语音报读。
本发明实施例第二方面公开一种智能笔,包括:
指令识别模块,用于对输入的搜索指令进行识别;
语音搜索模块,用于在所述指令识别模块识别出所述搜索指令是通过触发所述智能笔的语音搜索键输入的搜索指令时,采集输入的语音信息;
通信模块,用于将所述语音信息上报给后台服务器,以触发所述后台服务器从所述语音信息中识别出语音题目,并由所述后台服务器从数据库中查询与所述语音题目相匹配的第一搜索结果;以及,用于接收所述后台服务器发送的所述第一搜索结果;
投射模块,用于将所述第一搜索结果进行投影输出。
作为一种可选的实施方式,在本发明实施例第二方面中,所述投射模块,还用于在所述指令识别模块识别出所述搜索指令是通过触发所述智能笔的拍照键输入的搜索指令时,投影出显性框;
以及,所述智能笔还包括:
拍照模块,用于控制所述智能笔的摄像头对所述显性框内的内容进行拍照,得到目标图像;
第一检测模块,用于检测所述目标图像的投影画面中被选取的第一区域,所述目标图像的投影画面是所述目标图像被所述智能笔投影输出的投影画面;
所述通信模块,还用于将所述第一区域限定的画面内容上报给所述后台服务器,以触发所述后台服务器从所述画面内容中提取出文字题目,并由所述后台服务器从所述数据库中查询与所述文字题目相匹配的第二搜索结果;以及,接收所述后台服务器发送的所述第二搜索结果;
所述投射模块,还用于将所述第二搜索结果进行投影输出。
作为一种可选的实施方式,在本发明实施例第二方面中,还包括:定焦模块,用于在所述投射模块投影出显性框之后,控制所述智能笔的摄像头进行定焦;
第二检测模块,用于检测所述拍照键是否被第一操作,所述第一操作与触发所述拍照键输入搜索指令时的操作不同;
所述拍照模块,具体用于在所述第二检测模块检测到所述拍照键被第一操作时,控制所述智能笔的摄像头对所述显性框内的内容进行拍照,得到目标图像。
作为一种可选的实施方式,在本发明实施例第二方面中,还包括:判断模块,用于在所述指令识别模块对输入的搜索指令进行识别之前,根据所述智能笔的传感器采集到的数据判断所述智能笔是否处于被握持状态;
所述指令识别模块,具体用于在所述判断模块判断出所述智能笔处于所述被握持状态时,对输入的搜索指令进行识别;
以及,所述投射模块包括:
检测子单元,用于检测通过预设的手势触发的翻页指令;
投射子单元,用于根据所述翻页指令以滑动翻页的形式对所述第一搜索结果进行投影输出;以及,用于根据所述翻页指令以滑动翻页的形式对所述第二搜索结果进行投影输出。
作为一种可选的实施方式,在本发明实施例第二方面中,还包括:
自动报读模块,用于在所述投射模块将所述第一搜索结果进行投影输出之后,对所述第一搜索结果中的内容进行语音报读。
本发明实施例第三方面公开一种智能笔,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的任一项方法。
本发明实施例第四方面公开一种与投影相结合的搜题系统,其特征在于,所述系统包括后台服务器及本发明实施第二方面公开的任一项智能笔;
所述后台服务器包括:收发模块、语音语义识别模块、内容获取模块以及数据匹配模块;
所述收发模块,用于接收所述智能笔的通信模块上报的语音信息;
所述语音语义识别模块,用于从所述语音信息中识别出语音题目;
所述数据匹配模块,用于从数据库中查询与所述语音题目相匹配的第一搜索结果;
所述收发模块,还用于将所述第一搜索结果发送至所述智能笔的所述通信模块;
以及,所述收发模块,还用于接收所述智能笔的所述通信模块上报的画面内容;
所述内容获取模块,用于从所述画面内容中提取出文字题目;
所述数据匹配模块,还用于从所述数据库中查询与所述文字题目相匹配的第二搜索结果;
所述收发模块,还用于将所述第二搜索结果发送至所述智能笔的所述通信模块。
本发明第五方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的任一项方法。
本发明实施例第六方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面公开的任一项方法。
与现有技术相比,本发明实施例具有以下有益效果:
智能笔在接收到用户通过语音搜索键输入的搜索指令之后,采集用户输入的语音信息,从而使用户可以通过口头提问的方式输入待搜索的问题,无需使用文字的形式输入,从而提高用户输入问题的速度,进而提高搜题的效率。智能笔在采集到语音信息之后,将语音信息上报给后台服务器,以触发后台服务器从该语音信息中识别出用户想要搜索的题目,并由后台服务器从数据库中查询与该题目相匹配的第一搜索结果。智能笔接收后台服务器返回的第一搜索结果,并将该第一搜索结果进行投影输出,从而可以使用户在智能笔的投影画面而非电子设备的屏幕上查看该第一搜索结果,进而减少用户注视电子设备屏幕的时长,降低注视电子设备的屏幕对视力的伤害。可见,实施本发明实施例,能够提高搜题的效率,降低注视电子设备的屏幕对视力的伤害。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种与投影相结合的搜题方法的流程示意图;
图2是本发明实施例公开的一种智能笔的投影输出画面的示例图;
图3是本发明实施例公开的另一种与投影相结合的搜题方法的流程示意图;
图4是本发明实施例公开的另一种智能笔的投影输出画面的示例图;
图5是本发明实施例公开的另一种与投影相结合的搜题方法的流程示意图;
图6是本发明实施例公开的一种智能笔的结构示意图;
图7是本发明实施例公开的另一种智能笔的结构示意图;
图8是本发明实施例公开的另一种智能笔的结构示意图;
图9是本发明实施例公开的另一种智能笔的结构示意图;
图10是本发明实施例公开的一种与投影相结合的搜题系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种与投影相结合的搜题方法及智能笔,能够提高搜题的效率,降低注视电子设备的屏幕对视力的伤害。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种与投影相结合的搜题方法的流程示意图。如图1所示,该与投影相结合的搜题方法可以包括以下步骤:
101、智能笔对输入的搜索指令进行识别,如果识别出搜索指令是通过触发智能笔的语音搜索键输入的搜索指令,执行步骤102。
本发明实施例中,智能笔可以设置有多个按键,其中一个按键为上述的语音搜索键,该语音搜索键用于输入搜索指令,触发该语音搜索键输入搜索指令的方式可以为按压该语音搜索键或触摸该语音搜索键,本发明实施例不做限定。
102、智能笔采集输入的语音信息,并将语音信息上报给后台服务器。
本发明实施例中,智能笔可以内置有麦克风,用于采集输入的语音信息,其中,该智能笔内置麦克风的数量可以为一个或多个,本发明实施例不做限定。
103、后台服务器从语音信息中识别出语音题目,并从数据库中查询与语音题目相匹配的第一搜索结果。
本发明实施例中,后台服务器在接收到语音信息之后,可以对该语音信息进行语音识别及语义识别,从而从该语音信息中识别出语音题目。需要说明的是,从该语音信息中识别出的语音题目的数量可以为一个或多个,本发明实施例不做限定。
作为一种可选的实施方式,对于包含多道语音题目的语音信息,后台服务器可以识别语音信息中包含的预设关键词作为每道语音题目的分界点。比如说,假设用户输入的语音信息为“为什么天空是蓝的?为什么太阳是红的?”,根据已知的提问规律,后台服务器可以预先将“为什么”预设为关键词。后台服务器可以提取从前一个为什么之后到后一个为什么之前的内容作为一道语音题目的内容,从而可以从该语音信息中提取出多道题目。以上述的语音信息为例,后台服务器可以从该语音信息中提取出“为什么天空是蓝的?”作为一道语音题目,提取出“为什么太阳是红的”作为另一道语音题目。
在提取出多道题目之后,后台服务器还可以从数据库中分别查询与每道语音题目相匹配的搜索结果,因此,上述的第一搜索结果中可以包含一道或多道语音题目的搜索结果。与将语音信息整体识别为一道语音题目,并从数据库中查找该语音题目的搜索结果的查找方式相比,上述的实施方式可以分别查找与每道语音题目相匹配的搜索结果,从而提高查询的准确率。此外,第一搜索结果可以包括每道语音题目的答案、解题思路或与该语音题目相关的延伸阅读内容,本发明实施例不做限定。
104、智能笔接收后台服务器发送的第一搜索结果。
105、智能笔将该第一搜索结果进行投影输出。
请一并参阅图2,图2是本发明实施例公开的一种智能笔的投影输出画面的示例图。本发明实施例中,智能笔可以内置有投影装置,当从后台服务器处接收到第一搜索结果之后,智能笔可以通过该投影装置将第一搜索结果投影输出。通过智能笔可以将第一搜索结果投影到桌面、墙壁、书本等物体上,本发明实施例不做限定。
在图1所描述的方法中,智能笔识别触发语音搜索键时输入的搜索指令,在识别到该搜索指令之后,智能笔采集输入的语音信息,将该语音信息上报给后台服务器,由后台服务器从该语音信息中识别出语音题目,查询与该语音题目相匹配的第一搜索结果,并将第一搜索结果反馈给智能笔。智能笔在接收到第一搜索结果之后,将第一搜索结果投影输出。可见,在本发明实施例中,用户只需要按下语音搜索键,说出问题,智能笔就能投影出与该问题相匹配的结果。用户无需使用文字的形式输入问题,从而可以提高用户输入问题的速度,进而提高搜题的效率;以及,用户可以在投影画面而非电子设备的屏幕上查看搜索结果,从而可以减少用户注视电子设备屏幕的时长,降低注视电子设备的屏幕对视力的伤害。
实施例二
请参阅图3,图3是本发明实施例公开的另一种与投影相结合的搜题方法的流程示意图。如图3所示,该与投影相结合的搜题方法可以包括以下步骤:
301、智能笔对输入的搜索指令进行识别,如果识别出搜索指令是通过触发智能笔的语音搜索键输入的搜索指令,执行步骤302~步骤304,如果识别出搜索指令是通过触发智能笔的拍照键输入的搜索指令,执行步骤305~步骤310。
302、智能笔采集输入的语音信息,并将语音该信息上报给后台服务器。
303、后台服务器从语音信息中识别出语音题目,并从数据库中查询与语音题目相匹配的第一搜索结果。
304、智能笔接收后台服务器发送的第一搜索结果,将第一搜索结果进行投影输出并对第一搜索结果中的内容进行语音报读。
本发明实施例中,智能笔将第一搜索结果进行投影输出之后,还可以语音报读上述的第一搜索结果。一般来说,年龄较小的低年级学生的书面阅读能力较低,如果第一搜索结果包含的内容较多,这类学生通过投影画面查看第一搜索结果时容易注意力不集中,导致学习效果较差。智能笔对第一搜索结果进行语音报读,有助于吸引低年级学生的注意力。
同时,智能笔在投影输出第一搜索结果时,用于显示投影画面的物体需要满足一定的条件,才能使投影出的画面适合阅读。比如说,如果智能笔将第一搜索结果投影到桌面上,需要该桌面尽量平整,以及桌面的颜色相对较浅。然而,如果用户在户外等环境使用智能笔进行搜题,难以找到满足上述条件的物体,将第一搜索结果投影到该物体上以供阅读,此时,智能笔可以对第一搜索结果进行语音报读,从而使用户可以在难以找到满足投影条件的物体时,获悉与语音题目相匹配的第一搜索结果,从而提高学习效果。
305、智能笔投影出显性框,并控制智能笔的摄像头进行定焦。
本发明实施例中,显性框为智能笔投影出的边框,该边框用于提醒用户摄像头的拍摄范围。投影出的显性框可以显示用于界定拍摄范围的全部线条,也可以只显示部分线条,本发明实施例不做限定。
306、智能笔检测拍照键是否被第一操作,如果是,继续执行步骤307,如果否,返回执行步骤305。
本发明实施例中,上述的第一操作与触发拍照键输入搜索指令的操作不同。举例来说,第一操作可以是深按拍照键,触发拍照键输入搜索指令的操作可以是轻按拍照键。也就是说,智能笔如果检测到拍照键被轻按,可以投影出显性框,并控制摄像头进行定焦;如果检测到拍照键被重按,可以控制摄像头对显性框内的内容进行拍照。智能笔的拍照键可以与压力传感器相连接,智能笔可以通过该压力传感器检测用户按压拍照键时的按压力度。
可选的,第一操作也可以是长按拍照键,触发拍照键输入搜索指令的操作可以是短按拍照键。也就是说,智能笔检测拍照键被按压的持续时长,如果该持续时长小于指定阈值,智能笔可以投影出显性框,并控制摄像头进行定焦;如果该持续时长不小于指定阈值,智能笔可以控制摄像头对显性框内的内容进行拍照。对于第一操作与触发拍照键输入搜索指令的操作的具体实现形式,本发明实施例不做限定。
307、智能笔控制智能笔的摄像头对显性框内的内容进行拍照,得到目标图像。
308、智能笔检测目标图像的投影画面中被选取的第一区域,并将第一区域限定的画面内容上报给后台服务器。
本发明实施例中,目标图像为智能笔的摄像头拍摄得到的图像。请一并参阅图4,图4是本发明实施例公开的另一种智能笔的投影输出画面的示例图。如图4所示,目标图像的投影画面中可能包含多道题目,图中阴影所示为目标图像的投影画面中被选取的第一区域,该第一区域限定的画面内容为上述的多道题目中的其中一道题目。
此外,本发明实施例中,智能笔可以设置有激光发射器,作为一种可选的实施方式,智能笔检测目标图像的投影画面中被选取的第一区域的方式可以为:
智能笔控制激光发射器发射激光,该激光垂直于用于显示投影画面的平面;
智能笔控制摄像头采集激光被反射后形成的反射光斑图,根据反射光斑图中被反射的激光所在的位置、激光辐射区域与目标图像的投影画面之间的映射关系计算出目标图像的投影画面中被选取的第一区域。
举例来说,激光发射器发射的激光可以是人眼看不见的红外激光,从而不影响智能笔对目标图像的投影输出;用户可以把手部或者其他物体放在投影画面中待选取的区域之上,红外激光会在手部或者物体上形成激光光斑,摄像头采集该光斑的反射光斑图,根据激光光斑在该反射光斑图中的位置可以推算出目标图像的投影画面中被选取的第一区域。实施上述的实施方式,用户可以直接与投影画面进行交互,降低用户控制智能笔的操作难度;
作为另一种可选的实施方式,智能笔检测目标图像的投影画面中被选取的第一区域的方式还可以为:
智能笔检测输入的移动指令,根据该移动指令移动目标图像的投影画面中阴影图层的显示位置;当智能笔检测到输入的选取指令时,将阴影图层当前的显示位置所覆盖的区域确定为目标图像的投影画面中被选取的第一区域。其中,阴影图层可以为如图4中所示的阴影。实施上述的实施方式,可以使用户直观地查看待选取的第一区域,从而改善用户的使用体验。
309、后台服务器从画面内容中提取出文字题目,并从数据库中查询与文字题目相匹配的第二搜索结果。
本发明实施例中,后台服务器可以利用光学字符识别(Optical CharacterRecognition,简称OCR)等图像识别技术从画面内容中提取出文字题目,本发明实施例不做限定。
310、智能笔接收后台服务器发送的第二搜索结果,并将第二搜索结果进行投影输出。
本发明实施例中,如图4所示,智能笔将第二搜索结果进行输出时,可以将第二搜索结果的投影画面叠加在目标图像的投影画面上输出。可选的,智能笔将第二搜索结果进行输出时,也可以只输出第二搜索结果的投影画面,不输出目标图像的投影画面,本发明实施例不做限定。
在图3所描述的方法中,智能笔可以对搜索指令进行识别,如果该搜索指令是通过触发语音搜索键输入的,那么智能笔进入语音搜索模式:智能笔采集输入的语音信息,将该语音信息上传至后台服务器并将后台服务器返回的第一搜索结果投影输出。在语音搜索模式下,用户只需按下语音搜索键,提出问题,就可以查看与该问题相匹配的搜索结果。如果该搜索指令是通过触发拍照键输入的,那么智能笔进入拍照搜索模式:智能笔拍摄目标图像,将目标图像中被选取的第一区域上传至后台服务器并将后台服务器返回的第二搜索结果投影输出。在拍照搜索模式下,用户只需一拍一点就可以查看与想要搜索的题目相匹配的搜索结果,操作简单。可见,实施本发明实施例,能够减少使用智能笔搜题时的操作步骤,提高搜题效率。
进一步地,智能笔在语音搜索模式下还可以对第一搜索结果进行语音报读,有助于吸引低年级学生的注意力,并且可以在难以找到满足投影条件的物体时,通过语音报读的方式使用户获悉第一搜索结果,从而提高学习效果。
实施例三
请参阅图5,图5是本发明实施例公开的另一种与投影相结合的搜题方法的流程示意图。如图5所示,该与投影相结合的搜题方法可以包括以下步骤:
501、智能笔根据传感器采集到的数据判断智能笔是否处于被握持状态,如果是,执行步骤502,如果否,结束本流程。
本发明实施例中,智能笔的笔身可以沿着长度方向设置有按压感应器阵列,如果该按压感应器阵列检测到手掌或者手指的挤压力,智能笔可以认为该智能笔处于被握持状态,可以执行步骤502对输入的搜索指令进行识别。智能笔执行步骤501,可以减少智能笔处于非握持状态时由于拍照键或语音搜索键被误触而带来的额外能耗。比如说,智能笔被放置于用户的衣物口袋中,随着用户的运动,衣物与智能笔的拍照键或语音搜索键发生接触。此时,智能笔根据按压感应器阵列采集到的数据判断出智能笔处于非握持状态,智能笔不对拍照键或语音搜索键输入的搜索指令进行识别,从而可以避免开启智能笔的摄像头或麦克风,进而可以减少智能笔的电能消耗。
502、智能笔对输入的搜索指令进行识别,如果识别出搜索指令是通过触发智能笔的语音搜索键输入的搜索指令,执行步骤503~步骤505,如果识别出搜索指令是通过触发智能笔的拍照键输入的搜索指令,执行步骤506~步骤511。
本发明实施例中,步骤503~步骤511与上述的步骤302~步骤310相同,以下内容不再赘述。
其中,智能笔执行步骤505将第一搜索结果进行投影输出的方式具体可以为:
智能笔检测通过预设的手势触发的翻页指令,并根据该翻页指令以滑动翻页的形式对第一搜索结果进行投影输出。
以及,智能笔执行步骤511将第二搜索结果进行投影输出的方式具体可以为:
智能笔检测通过预设的手势触发的翻页指令,并根据该翻页指令以滑动翻页的形式对第二搜索结果进行投影输出。
在本发明实施例中,如果一次性将第一搜索结果或第二搜索结果包含的全部内容进行投影输出,可能会导致投影画面中包含的内容过多,从而影响用户的阅读体验。作为一种可选的实施方式,智能笔在投影输出时,可以设置一次投影输出最多能容纳的内容上限,当第一搜索结果或第二搜索结果包括的内容超出上述的内容上限时,执行上述的步骤505或步骤511,智能笔可以在第一搜索结果或第二搜索结果包括的内容超出内容上限时,对第一搜索结果或第二搜索结果进行分次投影,从而可以改善用户的阅读体验。
作为一种可选的实施方式,本发明实施例中,智能笔执行步骤508控制摄像头拍摄得到目标图像之后,可以执行以下步骤:
智能笔将目标图像上报给后台服务器,由后台服务器从目标图像中识别出图像内容,从数据库中查询与图像内容相匹配的第三搜索结果;
智能笔接收后台服务器发送的第三搜索结果,并对第三搜索结果进行投影输出;其中,上述的图像内容可以包括上述的文字题目,本发明实施例不做限定。
进一步可选的,智能笔在将上述的第二搜索结果或第三搜索结果进行投影输出时,还可以对上述的第二搜索结果或第三搜索结果进行语音报读,本发明实施例不做限定。
在一种可能的应用场景中,智能笔可以控制摄像头在采集户外物体的图像(如野生植物图像),并将该户外物体的图像上报到后台服务器,由后台服务器从数据库中查询出于该户外物体相匹配的介绍资料;智能笔在接收到后台服务器发送的上述介绍资料之后,可以将该介绍资料进行投影输出;其中,智能笔在将该介绍资料进行投影输出时,可以控制投影的投射比,从而能有便于多人同时查看该介绍资料,有助于开展户外教学课程。
在图5所描述的方法中,智能笔可以通过拍照键输入的搜索指令触发拍照搜索模式或者通过语音搜索键输入的搜索指令触发语音搜索模式,从而可以减少用户在搜题时所需的操作步骤,提高搜题效率。此外,智能笔将从后台服务器处接收到的搜索结果进行投影输出,可以降低注视电子设备的屏幕对视力的伤害。进一步地,在图5所描述的方法中,智能笔在对上述的搜索指令进行识别之前,判断智能笔是否处于握持状态,从而可以减少智能笔处于非握持状态时由于拍照键或语音搜索键被误触而带来的额外能耗。更进一步地,在图5所描述的方法中,智能笔在对上述的搜索进行投影输出时,根据通过预设的手势触发的翻页指令以滑动翻页的形式对上述的搜索结果进行投影输出,可以改善用户的阅读体验。
实施例四
请参阅图6,图6是本发明实施例公开的一种智能笔的结构示意图。如图6所示,该智能笔可以包括:
指令识别模块601,用于对输入的搜索指令进行识别;
语音搜索模块602,用于在指令识别模块601识别出搜索指令是通过触发智能笔的语音搜索键输入的搜索指令时,采集输入的语音信息;
通信模块603,用于将语音搜索模块602采集到的语音信息上报给后台服务器,以触发后台服务器从语音信息中识别出语音题目,并由后台服务器从数据库中查询与语音题目相匹配的第一搜索结果;以及,用于接收后台服务器发送的第一搜索结果;
投射模块604,用于将通信模块603接收到的第一搜索结果进行投影输出。
实施图6所示的智能笔,可以识别触发语音搜索键时输入的搜索指令,并且在识别到该搜索指令之后,采集输入的语音信息,将该语音信息上报给后台服务器,由后台服务器从该语音信息中识别出语音题目,查询与该语音题目相匹配的第一搜索结果,并将第一搜索结果反馈给智能笔。智能笔在接收到第一搜索结果之后,将第一搜索结果投影输出。可见,实施图6所示的智能笔,用户只需要按下语音搜索键,说出问题,智能笔就能投影出与该问题相匹配的结果。用户无需使用文字的形式输入问题,从而可以提高用户输入问题的速度,进而提高搜题的效率;以及,用户可以在投影画面而非电子设备的屏幕上查看搜索结果,从而可以减少用户注视电子设备屏幕的时长,降低注视电子设备的屏幕对视力的伤害。
实施例五
请参阅图7,图7是本发明实施例公开的另一种智能笔的结构示意图。图7所示的智能笔是由图6所示的智能笔进行优化得到的。与图6所示的智能笔相比,图7所示的智能笔中,
投射模块604,还用于在指令识别模块601识别出搜索指令是通过触发智能笔的拍照键输入的搜索指令时,投影出显性框;
以及,图7所示的智能笔还包括拍照模块605、定焦模块606、第二检测模块607;
上述的拍照模块605,用于在投射模块604投影出显性框之后,控制智能笔的摄像头对显性框内的内容进行拍照,得到目标图像;
上述的定焦模块606,用于在投射模块604投影出显性框之后,控制智能笔的摄像头进行定焦;
上述的第二检测模块607,用于在定焦模块606定焦完成之后,检测拍照键是否被第一操作,其中,该第一操作与触发拍照键输入搜索指令时的操作不同;
具体地,在本发明实施例中,投射模块604在投影出线性框之后,触发启动定焦模块606控制智能笔的摄像头进行定焦;定焦模块606在定焦完成之后,触发启动第二检测模块607检测拍照键是否被第一操作,当第二检测模块607检测到拍照键被第一操作时,触发启动上述的拍照模块605控制智能笔的摄像头对显性框内的内容进行拍照,得到目标图像;
此外,图7所示的智能笔还可以包括:
第一检测模块608,用于在投射模块604对目标图像进行投影输出之后,检测目标图像的投影画面中被选取的第一区域;
本发明实施例中,目标图像的投影画面是目标图像被投射模块604投影输出的投影画面,上述的拍照模块605在得到目标图像之后,触发上述的投射模块604对目标图像进行投影输出;
此外,本发明实施例中,第一检测模块608检测目标图像的投影画面中被选取的第一区域的方式可以为:
第一检测模块608获取拍照模块605采集到的激光被反射后形成的反射光斑图,根据反射光斑图中被反射的激光所在的位置、激光辐射区域与目标图像的投影画面之间的映射关系计算出目标图像的投影画面中被选取的第一区域;
可选的,本发明实施例中,第一检测模块608检测目标图像的投影画面中被选取的第一区域的方式还可以为:
第一检测模块608检测输入的选取指令,根据该输入指令将阴影图层当前的显示位置所覆盖的区域确定为目标图像的投影画面中被选取的第一区域;其中,上述的阴影图层为目标图像的投影画面中的图层,投射模块604可以根据输入的移动指令移动上述的阴影图层在目标图像的投影画面中的显示位置;
其中,上述的通信模块603,还用于将第一检测模块606检测到的第一区域限定的画面内容上报给后台服务器,以触发后台服务器从画面内容中提取出文字题目,并由后台服务器从数据库中查询与文字题目相匹配的第二搜索结果;以及,接收后台服务器发送的第二搜索结果;
上述的投射模块604,还用于将通信模块603接收到的第二搜索结果进行投影输出。
实施图7所示的智能笔,可以对搜索指令进行识别,如果该搜索指令是通过触发语音搜索键输入的,那么智能笔进入语音搜索模式:智能笔采集输入的语音信息,将该语音信息上传至后台服务器并将后台服务器返回的第一搜索结果投影输出。在语音搜索模式下,用户只需按下语音搜索键,提出问题,就可以查看与该问题相匹配的搜索结果。如果该搜索指令是通过触发拍照键输入的,那么智能笔进入拍照搜索模式:智能笔拍摄目标图像,将目标图像中被选取的第一区域上传至后台服务器并将后台服务器返回的第二搜索结果投影输出。在拍照搜索模式下,用户只需一拍一点就可以查看与想要搜索的题目相匹配的搜索结果,操作简单。可见,实施本发明实施例,能够减少使用智能笔搜题时的操作步骤,提高搜题效率。进一步地,智能笔在拍摄目标图像的过程中,可以投射出显性框以提示用户摄像头的拍摄范围,从而可以改善用户的拍照体验。此外,智能笔还可以根据触发拍照键时的不同操作选择控制摄像头进行定焦或者选择拍摄目标图像,从而可以减少智能笔的按键数量,使智能笔更加美观。
实施例六
请参阅图8,图8是本发明实施例公开的另一种智能笔的结构示意图。图8所示的智能笔是由图7所示的智能笔进行优化得到的。与图7所示的智能笔相比,图8所示的智能笔还可以包括:
判断模块609,用于在指令识别模块601对输入的搜索指令进行识别之前,根据智能笔的传感器采集到的数据判断智能笔是否处于被握持状态;
具体地,上述的指令识别模块601,用于在判断模块609判断出智能笔处于被握持状态时,对输入的搜索指令进行识别;
本发明实施例中,智能笔的笔身可以沿着长度方向设置有按压感应器阵列,判断模块609可以与该按压感应器阵列连接;当按压感应器阵列检测到手掌或者手指的挤压力时,可以向判断模块609发送每个按压感应器采集到的数据,判断模块609可以根据上述的数据判定智能笔处于被握持状态;
以及,图8所示的智能笔还可以包括:
自动报读模块610,用于在投射模块604将第一搜索结果进行投影输出之后,对第一搜索结果中的内容进行语音报读。
本发明实施例中,投射模块604将第一搜索结果进行投影输出之后,可以触发启动自动报读模块610;
其中,上述的投射模块604,包括:
检测子单元6041,用于检测通过预设的手势触发的翻页指令;
投射子单元6042,用于根据检测子单元6041检测到的翻页指令以滑动翻页的形式对第一搜索结果进行投影输出;以及,用于根据检测子单元6041检测到的翻页指令以滑动翻页的形式对第二搜索结果进行投影输出。
在一种可能的应用场景中,智能笔可以通过拍照模块605控制摄像头在采集户外物体的图像(如野生植物图像),并通过通信模块603将该户外物体的图像上报到后台服务器,由后台服务器从数据库中查询出于该户外物体相匹配的介绍资料;智能笔的通信模块603在接收到后台服务器发送的上述介绍资料之后,可以通过投射模块604将该介绍资料进行投影输出;其中,智能笔在通过投射模块604将该介绍资料进行投影输出时,投射模块604可以控制投影的投射比,从而能有便于多人同时查看该介绍资料,有助于开展户外教学课程。以及,智能笔无需显示屏幕,相比于设置有显示屏幕的电子设备,更加方便携带,适用于户外场景。
实施图8所示的智能笔,可以通过拍照键输入的搜索指令触发拍照搜索模式或者通过语音搜索键输入的搜索指令触发语音搜索模式,从而可以减少用户在搜题时所需的操作步骤,提高搜题效率。此外,智能笔将从后台服务器处接收的搜索结果进行投影输出,可以降低注视电子设备的屏幕对视力的伤害。进一步地,实施图8所示的智能笔,可以在对上述的搜索指令进行识别之前,判断智能笔是否处于握持状态,从而可以减少智能笔处于非握持状态时由于拍照键或语音搜索键被误触而带来的额外能耗。更进一步地,实施图8所示的智能笔,可以在对上述的搜索进行投影输出时,根据通过预设的手势触发的翻页指令以滑动翻页的形式对上述的搜索结果进行投影输出,可以改善用户的阅读体验。
实施例七
请参阅图9,图9是本发明实施例公开的另一种智能笔的结构示意图。如图9所示,该智能笔可以包括:
输入单元1010、存储器1020、拍照单元1030、处理器1040、无线通信模块1050以及电源1060等部件。本领域技术人员可以理解,图9示出的智能笔结构并不构成对智能笔的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图9对智能笔的各个构成部件进行具体的介绍:
输入单元1010可用于接收输入的数字或字符信息,以及产生与智能笔的用户设置以及功能控制有关的键信号输入。具体地,输入单元1010可以包括但不仅限于设置于智能笔上的物理按键1011(比如拍照按键、语音搜索键、开关按键)等,可用于检测用户在其上的按压操作(比如用户使用手指、手持触压设备等任何适合的物体或附件在物理按键1011上的操作),并根据预先设定的程式驱动相应的连接装置。输入单元1010还可以包括压力传感器1012,可检测作用于物理按键1011的压力值以及将检测得到的压力值发送至处理器1040。
存储器1020可用于存储软件程序以及模块,处理器1040通过运行存储在存储器1020的软件程序以及模块,从而执行智能笔的各种功能应用以及数据处理。存储器1020可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如拍照功能、对焦定位功能等)等;存储数据区可存储根据智能笔的使用所创建的数据(比如试题图像、语音数据等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其它易失性固态存储器件。
拍照单元1030可以包括但不仅限于外置摄像头1031、对焦定位模块1032和角度校正模块1033。具体地,外置摄像头1031可180度转动,通过显性框进行拍照预览、在相应程序驱动下拍照获得试题图像,或者将试题图像输出至存储器1020。对焦定位模块1032可包括激光对焦模块、紫外线对焦模块等,对焦定位模块1032可自动对焦、定位或者进行信息投影,或者可根据智能笔的移动轨迹调整外置摄像头1031的对焦和定位。角度校正模块1033可根据参数或者用户操作调整外置摄像头1031的拍照角度。
智能笔还可以包括陀螺仪1034或者重力传感器1035,对焦定位模块1032可根据陀螺仪1034检测的转动角速度或者重力传感器1035检测的重力加速度调整对焦和定位,及角度校正模块1033可根据陀螺仪1034检测的转动角速度或者重力传感器1035检测的重力加速度调整拍照角度。
处理器1040是智能笔的控制中心,利用各种接口和线路连接整个智能笔的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行智能笔的各种功能和处理数据,从而对智能笔进行整体监控。可选的,处理器1040可包括一个或多个处理单元;优选的,处理器1040可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1040中。
无线通信模块1050可用于在执行拍照功能时发送试题图像、接收外部设备的控制指令等,特别地,在接收到外部设备的控制指令之后发送至处理器1040,由处理器1040处理。无线通信模块1050可包括如无线保真(wireless fidelity,WiFi)模块等。其中,WiFi属于短距离无线传输技术,智能笔通过WiFi模块可以用于发送试题图像以及接收外部设备的控制指令等,它为用户提供了无线的宽带互联网访问。
智能笔还可以包括给各个部件供电的电源1060(比如电池),优选的,电源可以通过电源管理系统与处理器1040逻辑相连,从而通过电源管理系统实现管理充电、放电以及功耗管理等功能。
智能笔还可以包括触控笔头1070,触控笔头1070可以包括但不仅限于橡胶软笔头、碳纤维硬笔头和压力伸缩金属笔头等可以在触控屏幕/触摸屏上使用的任意一种触控笔头。触控笔头1070可作用在外部设备的触控屏幕/触摸屏上以向外部设备输入信号。
智能笔还可包括至少一种传感器1080,比如图像传感器、光传感器、运动传感器、生物传感器以及其它传感器。具体地,图像传感器可将光学图像转换成电子信号。光传感器可根据环境光线的明暗来调节拍照单元1030中显性框的亮度。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别智能笔的姿态(比如垂直放置、水平放置)、振动识别相关功能(比如敲击)等;至于智能笔还可配置陀螺仪、红外线传感器等其它传感器,在此不再赘述。
智能笔还可以包括音频电路1090、扬声器1091,传声器1092可提供用户与智能笔之间的音频接口。音频电路1090可将接收到的音频数据转换后的电信号,传输到扬声器1091,由扬声器1091转换为声音信号输出;另一方面,传声器1092将收集的声音信号转换为电信号,由音频电路1090接收后转换为音频数据,再将音频数据输出处理器1040处理后,经无线通信模块1050以发送给比如电子设备,或者将音频数据输出至存储器1020以便进一步处理。
尽管未示出,智能笔还可包括充电接口,可通过该充电接口为智能笔的电源1060充电。充电接口可包括Micro USB接口、USB Type C接口等。智能笔还可包括开关指示灯、充电指示灯等,在此不再赘述。
实施例八
请参阅图10,图10是本发明实施例公开的一种与投影相结合的搜题系统的结构示意图。如图10所示,该系统包括:
如图6~图9所示的任一种智能笔、后台服务器以及数据库。需要说明的是,上述的后台服务器及数据库可以是或者也可以不是物理上分开的,即可位于一个地方,或者也可以分布到多个网络单元上;
智能笔可以采集输入的语音信息,并将该语音信息上报至后台服务器;后台服务器在该语音信息中识别出语音题目,从数据库中查询出与该语音题目相匹配的第一搜索结果,并将该第一搜索结果返回智能笔,以供智能笔投影输出;
以及,智能笔还可以拍摄目标图像,并将目标图像的投影画面中的全部或部分画面内容上报至后台服务器;后台服务器在上述的画面内容中提取出文字题目,从数据库中查询出于该文字题目相匹配的第二搜索结果,并将该第二搜索结果返回智能笔,以供智能笔投影输出。
其中,上述的后台服务器包括:收发模块、语音语义识别模块、内容获取模块以及数据匹配模块;
上述的收发模块,用于接收智能笔上报的语音信息或者目标图像的投影画面中全部或部分的画面内容;以及,用于将查询得到的第一搜索结果或第二搜索结果返回智能笔;
上述的语音语义识别模块,用于从上述的语音信息中识别出语音题目;
本发明实施例中,语音语义识别模块在从上述的语音信息中识别出语音题目时,可以识别语音信息中包含的预设关键词作为每道语音题目的分界点,从而可以从语音信息中提取出多道题目;
上述的内容获取模块,用于从上述的画面内容中提取出文字题目;
本发明实施例中,内容获取模块从上述的画面内容中提取出文字题目之后,还可以对该文字题目进行语义分析,根据语义分析的结果对文字题目进行校正,将校正后的文字题目发送至数据匹配模块,以供数据匹配模块查询;
上述的数据匹配模块,用于从数据库中查询与语音题目相匹配的第一搜索结果以及与文字题目相匹配的第二搜索结果。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1~图3任一种与投影相结合的搜题方法。
本发明实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行图1~图3任一种与投影相结合的搜题方法。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元或模块可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元或模块可以集成在一个处理单元中,也可以是各个单元或模块单独物理存在,也可以两个或两个以上单元或模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种与投影相结合的搜题方法及智能笔进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种与投影相结合的搜题方法,其特征在于,所述方法包括:
智能笔对输入的搜索指令进行识别;
如果识别出所述搜索指令是通过触发所述智能笔的语音搜索键输入的搜索指令,所述智能笔采集输入的语音信息;
所述智能笔将所述语音信息上报给后台服务器,以触发所述后台服务器从所述语音信息中识别出语音题目,并由所述后台服务器从数据库中查询与所述语音题目相匹配的第一搜索结果;
所述智能笔接收所述后台服务器发送的所述第一搜索结果;
所述智能笔将所述第一搜索结果进行投影输出。
2.根据权利要求1所述的与投影相结合的搜题方法,其特征在于,所述方法还包括:
如果识别出所述搜索指令是通过触发所述智能笔的拍照键输入的搜索指令,所述智能笔投影出显性框,并控制所述智能笔的摄像头对所述显性框内的内容进行拍照,得到目标图像;
所述智能笔检测所述目标图像的投影画面中被选取的第一区域,所述目标图像的投影画面是所述目标图像被所述智能笔投影输出的投影画面;
所述智能笔将所述第一区域限定的画面内容上报给所述后台服务器,以触发所述后台服务器从所述画面内容中提取出文字题目,并由所述后台服务器从所述数据库中查询与所述文字题目相匹配的第二搜索结果;
所述智能笔接收所述后台服务器发送的所述第二搜索结果;
所述智能笔将所述第二搜索结果进行投影输出。
3.根据权利要求2所述的与投影相结合的搜题方法,其特征在于,在所述智能笔投影出显性框之后,所述方法还包括:
所述智能笔控制所述智能笔的摄像头进行定焦;
所述智能笔检测所述拍照键是否被第一操作,所述第一操作与触发所述拍照键输入搜索指令时的操作不同;
如果所述智能笔检测到所述拍照键被第一操作,所述智能笔执行所述控制所述智能笔的摄像头对所述显性框内的内容进行拍照,得到目标图像。
4.根据权利要求2或3所述的与投影相结合的搜题方法,其特征在于,在所述智能笔对输入的搜索指令进行识别之前,所述方法还包括:
所述智能笔根据所述智能笔的传感器采集到的数据判断所述智能笔是否处于被握持状态,如果所述智能笔处于所述被握持状态,所述智能笔执行所述的对输入的搜索指令进行识别;
所述智能笔将所述第一搜索结果进行投影输出的方式具体为:
所述智能笔检测通过预设的手势触发的翻页指令;
所述智能笔根据所述翻页指令以滑动翻页的形式对所述第一搜索结果进行投影输出;
以及,所述智能笔将所述第二搜索结果进行投影输出的方式具体为:
所述智能笔检测通过预设的手势触发的翻页指令;
所述智能笔根据所述翻页指令以滑动翻页的形式对所述第二搜索结果进行投影输出。
5.根据权利要求1~4任一项所述的与投影相结合的搜题方法,其特征在于,在所述智能笔将所述第一搜索结果进行投影输出之后,所述方法还包括:
所述智能笔对所述第一搜索结果中的内容进行语音报读。
6.一种智能笔,其特征在于,包括:
指令识别模块,用于对输入的搜索指令进行识别;
语音搜索模块,用于在所述指令识别模块识别出所述搜索指令是通过触发所述智能笔的语音搜索键输入的搜索指令时,采集输入的语音信息;
通信模块,用于将所述语音信息上报给后台服务器,以触发所述后台服务器从所述语音信息中识别出语音题目,并由所述后台服务器从数据库中查询与所述语音题目相匹配的第一搜索结果;以及,用于接收所述后台服务器发送的所述第一搜索结果;
投射模块,用于将所述第一搜索结果进行投影输出。
7.根据权利要求6所述的智能笔,其特征在于:
所述投射模块,还用于在所述指令识别模块识别出所述搜索指令是通过触发所述智能笔的拍照键输入的搜索指令时,投影出显性框;
以及,所述智能笔还包括:
拍照模块,用于控制所述智能笔的摄像头对所述显性框内的内容进行拍照,得到目标图像;
第一检测模块,用于检测所述目标图像的投影画面中被选取的第一区域,所述目标图像的投影画面是所述目标图像被所述智能笔投影输出的投影画面;
所述通信模块,还用于将所述第一区域限定的画面内容上报给所述后台服务器,以触发所述后台服务器从所述画面内容中提取出文字题目,并由所述后台服务器从所述数据库中查询与所述文字题目相匹配的第二搜索结果;以及,接收所述后台服务器发送的所述第二搜索结果;
所述投射模块,还用于将所述第二搜索结果进行投影输出。
8.根据权利要求7所述的智能笔,其特征在于,还包括:
定焦模块,用于在所述投射模块投影出显性框之后,控制所述智能笔的摄像头进行定焦;
第二检测模块,用于检测所述拍照键是否被第一操作,所述第一操作与触发所述拍照键输入搜索指令时的操作不同;
所述拍照模块,具体用于在所述第二检测模块检测到所述拍照键被第一操作时,控制所述智能笔的摄像头对所述显性框内的内容进行拍照,得到目标图像。
9.根据权利要求7或8所述的智能笔,其特征在于,还包括:
判断模块,用于在所述指令识别模块对输入的搜索指令进行识别之前,根据所述智能笔的传感器采集到的数据判断所述智能笔是否处于被握持状态;
所述指令识别模块,具体用于在所述判断模块判断出所述智能笔处于所述被握持状态时,对输入的搜索指令进行识别;
以及,所述投射模块包括:
检测子单元,用于检测通过预设的手势触发的翻页指令;
投射子单元,用于根据所述翻页指令以滑动翻页的形式对所述第一搜索结果进行投影输出;以及,用于根据所述翻页指令以滑动翻页的形式对所述第二搜索结果进行投影输出。
10.根据权利要求6~9任一项所述的智能笔,其特征在于,还包括:
自动报读模块,用于在所述投射模块将所述第一搜索结果进行投影输出之后,对所述第一搜索结果中的内容进行语音报读。
11.一种智能笔,其特征在于,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行权利要求1~5任一项所述的方法。
12.一种与投影相结合的搜题系统,其特征在于,所述系统包括后台服务器及权利要求6~11任一项所述的智能笔;
所述后台服务器包括:收发模块、语音语义识别模块、内容获取模块以及数据匹配模块;
所述收发模块,用于接收所述智能笔的通信模块上报的语音信息;
所述语音语义识别模块,用于从所述语音信息中识别出语音题目;
所述数据匹配模块,用于从数据库中查询与所述语音题目相匹配的第一搜索结果;
所述收发模块,还用于将所述第一搜索结果发送至所述智能笔的所述通信模块;
以及,所述收发模块,还用于接收所述智能笔的所述通信模块上报的画面内容;
所述内容获取模块,用于从所述画面内容中提取出文字题目;
所述数据匹配模块,还用于从所述数据库中查询与所述文字题目相匹配的第二搜索结果;
所述收发模块,还用于将所述第二搜索结果发送至所述智能笔的所述通信模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810074787.4A CN108287903A (zh) | 2018-01-25 | 2018-01-25 | 一种与投影相结合的搜题方法及智能笔 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810074787.4A CN108287903A (zh) | 2018-01-25 | 2018-01-25 | 一种与投影相结合的搜题方法及智能笔 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108287903A true CN108287903A (zh) | 2018-07-17 |
Family
ID=62835822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810074787.4A Pending CN108287903A (zh) | 2018-01-25 | 2018-01-25 | 一种与投影相结合的搜题方法及智能笔 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108287903A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191940A (zh) * | 2018-08-31 | 2019-01-11 | 广东小天才科技有限公司 | 一种基于智能设备的交互方法及智能设备 |
CN109263362A (zh) * | 2018-10-29 | 2019-01-25 | 广东小天才科技有限公司 | 一种智能笔及其控制方法 |
CN109753970A (zh) * | 2019-03-12 | 2019-05-14 | 深圳市友杰智新科技有限公司 | 防误触方法及扫描翻译笔 |
CN110853424A (zh) * | 2019-10-12 | 2020-02-28 | 深圳瑞诺信息科技有限公司 | 一种具有视觉识别的语音学习方法、装置及系统 |
CN111026889A (zh) * | 2019-02-18 | 2020-04-17 | 广东小天才科技有限公司 | 一种学习内容搜索方法及学习设备 |
CN113110751A (zh) * | 2021-04-23 | 2021-07-13 | 维沃移动通信有限公司 | 触控笔 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103412645A (zh) * | 2013-08-05 | 2013-11-27 | 步步高教育电子有限公司 | 一种自动获取学习资料信息的扫描笔及系统 |
CN105204752A (zh) * | 2014-06-04 | 2015-12-30 | 北京大学深圳研究生院 | 投影式阅读中实现交互的方法和系统 |
US9275554B2 (en) * | 2013-09-24 | 2016-03-01 | Jimmy M Sauz | Device, system, and method for enhanced memorization of a document |
CN105474128A (zh) * | 2013-07-17 | 2016-04-06 | 斯特比洛国际公司 | 能量节约 |
CN105975560A (zh) * | 2016-04-29 | 2016-09-28 | 广东小天才科技有限公司 | 一种智能设备的题目搜索方法和装置 |
CN106372243A (zh) * | 2016-09-19 | 2017-02-01 | 广东小天才科技有限公司 | 应用于电子终端的试题搜索方法和装置 |
CN107438464A (zh) * | 2016-03-30 | 2017-12-05 | 深圳市柔宇科技有限公司 | 一种智能笔及矫正方法 |
-
2018
- 2018-01-25 CN CN201810074787.4A patent/CN108287903A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105474128A (zh) * | 2013-07-17 | 2016-04-06 | 斯特比洛国际公司 | 能量节约 |
CN103412645A (zh) * | 2013-08-05 | 2013-11-27 | 步步高教育电子有限公司 | 一种自动获取学习资料信息的扫描笔及系统 |
US9275554B2 (en) * | 2013-09-24 | 2016-03-01 | Jimmy M Sauz | Device, system, and method for enhanced memorization of a document |
CN105204752A (zh) * | 2014-06-04 | 2015-12-30 | 北京大学深圳研究生院 | 投影式阅读中实现交互的方法和系统 |
CN107438464A (zh) * | 2016-03-30 | 2017-12-05 | 深圳市柔宇科技有限公司 | 一种智能笔及矫正方法 |
CN105975560A (zh) * | 2016-04-29 | 2016-09-28 | 广东小天才科技有限公司 | 一种智能设备的题目搜索方法和装置 |
CN106372243A (zh) * | 2016-09-19 | 2017-02-01 | 广东小天才科技有限公司 | 应用于电子终端的试题搜索方法和装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191940A (zh) * | 2018-08-31 | 2019-01-11 | 广东小天才科技有限公司 | 一种基于智能设备的交互方法及智能设备 |
CN109191940B (zh) * | 2018-08-31 | 2021-09-24 | 广东小天才科技有限公司 | 一种基于智能设备的交互方法及智能设备 |
CN109263362A (zh) * | 2018-10-29 | 2019-01-25 | 广东小天才科技有限公司 | 一种智能笔及其控制方法 |
CN111026889A (zh) * | 2019-02-18 | 2020-04-17 | 广东小天才科技有限公司 | 一种学习内容搜索方法及学习设备 |
CN109753970A (zh) * | 2019-03-12 | 2019-05-14 | 深圳市友杰智新科技有限公司 | 防误触方法及扫描翻译笔 |
CN109753970B (zh) * | 2019-03-12 | 2024-06-07 | 深圳市友杰智新科技有限公司 | 防误触方法及扫描翻译笔 |
CN110853424A (zh) * | 2019-10-12 | 2020-02-28 | 深圳瑞诺信息科技有限公司 | 一种具有视觉识别的语音学习方法、装置及系统 |
CN113110751A (zh) * | 2021-04-23 | 2021-07-13 | 维沃移动通信有限公司 | 触控笔 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108287903A (zh) | 一种与投影相结合的搜题方法及智能笔 | |
EP3258423B1 (en) | Handwriting recognition method and apparatus | |
Kim et al. | The gesture watch: A wireless contact-free gesture based wrist interface | |
WO2021023059A1 (zh) | 拍照方法和移动终端 | |
WO2021135601A1 (zh) | 辅助拍照方法、装置、终端设备及存储介质 | |
CN109063583A (zh) | 一种基于点读操作的学习方法及电子设备 | |
CN108280171A (zh) | 一种基于手持拍照设备的搜题方法及系统 | |
CN104898406A (zh) | 电子设备和采集控制方法 | |
CN109240582A (zh) | 一种点读控制方法及智能设备 | |
CN109154858A (zh) | 智能电子设备及其操作方法 | |
CN108735216A (zh) | 一种基于语义识别的语音搜题方法及家教设备 | |
CN109756770A (zh) | 视频播放过程实现单词或语句复读的方法及电子设备 | |
CN109284592A (zh) | 一种题目推荐方法及家教设备 | |
US20210233529A1 (en) | Imaging control method and apparatus, control device, and imaging device | |
CN109257649B (zh) | 一种多媒体文件生成方法及终端设备 | |
CN108197299A (zh) | 一种基于手持拍照设备的拍照搜题方法及系统 | |
CN107666536A (zh) | 一种寻找终端的方法和装置、一种用于寻找终端的装置 | |
CN108353129A (zh) | 拍摄设备及其控制方法 | |
CN107943842A (zh) | 一种照片标签生成方法、移动终端 | |
CN109819167A (zh) | 一种图像处理方法、装置和移动终端 | |
CN108255344A (zh) | 应用于手持拍照设备的搜题方法、系统及手持拍照设备 | |
CN109145088A (zh) | 一种基于家教机的搜索方法及家教机 | |
CN108287900A (zh) | 一种手持拍照设备的搜题方法、系统及手持拍照设备 | |
CN106873939B (zh) | 电子设备及其使用方法 | |
CN109495638A (zh) | 一种信息显示方法及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180717 |