CN111026901A - 一种学习内容的搜索方法及学习设备 - Google Patents

一种学习内容的搜索方法及学习设备 Download PDF

Info

Publication number
CN111026901A
CN111026901A CN201910121446.2A CN201910121446A CN111026901A CN 111026901 A CN111026901 A CN 111026901A CN 201910121446 A CN201910121446 A CN 201910121446A CN 111026901 A CN111026901 A CN 111026901A
Authority
CN
China
Prior art keywords
learning
target
content
user
initial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910121446.2A
Other languages
English (en)
Inventor
徐杨
杨昊民
黄东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL China Star Optoelectronics Technology Co Ltd
Original Assignee
Shenzhen China Star Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen China Star Optoelectronics Technology Co Ltd filed Critical Shenzhen China Star Optoelectronics Technology Co Ltd
Priority to CN201910121446.2A priority Critical patent/CN111026901A/zh
Publication of CN111026901A publication Critical patent/CN111026901A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Abstract

本发明实施例涉及教育技术领域,公开了一种学习内容的搜索方法及学习设备,该方法包括:当检测到当前时间属于用户的作业时间时,拍摄目标页面对应的初始图像,该初始图像未包含指定物;当检测到包含用户搜索意图的语音信息时,拍摄目标页面对应的目标图像,该目标图像包含指定物,且该指定物遮挡了目标页面中的目标内容;将目标图像与初始图像进行内容比对,以确定指定物遮挡的目标页面中的目标内容;搜索与目标内容相关的、且对应于用户搜索意图的学习内容。可见,实施本发明实施例,能够利用不包含指定物的初始图像来确定目标页面中被指定物遮挡的目标内容,消除指定物遮挡带来的影响,进而提高学习内容的搜索的准确率。

Description

一种学习内容的搜索方法及学习设备
技术领域
本发明涉及教育技术领域,尤其涉及一种学习内容的搜索方法及学习设备。
背景技术
近年来,学习设备(如家教机等)被广泛应用于学习辅导,如解答疑惑等。用户能够使用家教机拍摄包含搜索内容的图像,并进行搜索以获得搜索内容对应的学习内容。但是,在实践中发现,一旦需要搜索的内容意外地被物体(如手指)遮挡,那么学习设备将难以从图像中识别出完整的搜索内容,从而导致搜索出的学习内容并非用户所需的内容。可见,这种基于图像的搜索方式准确率较低。
发明内容
本发明实施例公开了一种学习内容的搜索方法及学习设备,能够提高学习内容的搜索的准确率。
本发明实施例第一方面公开一种学习内容的搜索方法,所述方法包括:
当检测到当前时间属于用户的作业时间时,拍摄目标页面对应的初始图像;所述初始图像未包含指定物;
当检测到包含用户搜索意图的语音信息时,拍摄所述目标页面对应的目标图像,所述目标图像包含所述指定物,所述指定物遮挡了所述目标页面中的目标内容;
将所述目标图像与所述初始图像进行内容比对,以确定所述指定物遮挡的所述目标页面中的所述目标内容;
搜索与所述目标内容相关的、且对应于所述用户搜索意图的学习内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述将所述目标图像与所述初始图像进行内容比对,以确定所述指定物遮挡的所述目标页面中的所述目标内容,包括:
识别所述指定物在所述目标图像中的第一坐标位置,以根据所述第一坐标位置识别所述目标图像中被遮挡的区域;
根据所述第一坐标位置确定所述初始图像中与所述第一坐标位置对应的第二坐标位置;
利用所述初始图像中所述第二坐标位置的指定范围内的图像内容还原所述目标图像中被遮挡的区域的内容,以确定所述指定物遮挡的所述目标页面中的所述目标内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述当检测到当前时间属于用户的作业时间时,拍摄目标页面对应的初始图像,包括:
当检测到当前时间属于用户的作业时间时,获取学习设备的当前位置;
判断所述当前位置是否位于预设学习地点;
若是,通过所述学习设备的第一摄像头拍摄目标页面对应的初始图像。
作为一种可选的实施方式,在本发明实施例第一方面中,所述搜索与所述目标内容相关的、且对应于所述用户搜索意图的学习内容之后,所述方法还包括:
从所述语音信息中提取声音因子;
根据所述声音因子以及语音发展规律模型获取所述用户的年龄段信息;
从搜索得到的所述学习内容中提取与所述年龄段信息相匹配的目标学习内容;
推送所述目标学习内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
通过所述学习设备的第二摄像头获取所述用户的眼球运动参数;
利用所述眼球运动参数获取所述用户的眼睛状态信息;
检测所述学习设备当前所处环境的光线信息;
根据所述用户的眼睛状态信息以及所述光线信息调节所述学习设备的显示屏的屏幕参数,以使所述显示屏符合所述用户的眼睛对标准舒适度的要求。
本发明实施例第二方面公开一种学习设备,所述学习设备包括:
第一拍摄单元,用于当检测到当前时间属于用户的作业时间时,拍摄目标页面对应的初始图像;所述初始图像未包含指定物;
第二拍摄单元,用于当检测到包含用户搜索意图的语音信息时,拍摄所述目标页面对应的目标图像,所述目标图像包含所述指定物,所述指定物遮挡了所述目标页面中的目标内容;
对比单元,用于将所述目标图像与所述初始图像进行内容比对,以确定所述指定物遮挡的所述目标页面中的所述目标内容;
搜索单元,用于搜索与所述目标内容相关的、且对应于所述用户搜索意图的学习内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述对比单元包括:
识别子单元,用于识别所述指定物在所述目标图像中的第一坐标位置,以根据所述第一坐标位置识别所述目标图像中被遮挡的区域;
确定子单元,用于根据所述第一坐标位置确定所述初始图像中与所述第一坐标位置对应的第二坐标位置;
还原子单元,用于利用所述初始图像中所述第二坐标位置的指定范围内的图像内容还原所述目标图像中被遮挡的区域的内容,以确定所述指定物遮挡的所述目标页面中的所述目标内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第一拍摄单元包括:
获取子单元,用于当检测到当前时间属于用户的作业时间时,获取学习设备的当前位置;
判断子单元,用于判断所述当前位置是否位于预设学习地点;
拍摄子单元,用于在所述判断子单元判断出所述当前位置位于所述预设学习地点时,通过所述学习设备的第一摄像头拍摄目标页面对应的初始图像。
作为一种可选的实施方式,在本发明实施例第二方面中,所述学习设备还包括:
第一提取单元,用于在所述搜索单元搜索与所述目标内容相关的、且对应于所述用户搜索意图的学习内容之后,从所述语音信息中提取声音因子;
第一获取单元,用于根据所述声音因子以及语音发展规律模型获取所述用户的年龄段信息;
第二提取单元,用于从搜索得到的所述学习内容中提取与所述年龄段信息相匹配的目标学习内容;
推送单元,用于推送所述目标学习内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述学习设备还包括:
第二获取单元,用于通过所述学习设备的第二摄像头获取所述用户的眼球运动参数;
所述第二获取单元,还用于利用所述眼球运动参数获取所述用户的眼睛状态信息;
检测单元,用于检测所述学习设备当前所处环境的光线信息;
调节单元,用于根据所述用户的眼睛状态信息以及所述光线信息调节所述学习设备的显示屏的屏幕参数,以使所述显示屏符合所述用户的眼睛对标准舒适度的要求。
本发明实施例第三方面公开一种学习设备,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的一种学习内容的搜索方法。
本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种学习内容的搜索方法。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,当检测到当前时间属于用户的作业时间时,拍摄目标页面对应的初始图像,该初始图像未包含指定物;当检测到包含用户搜索意图的语音信息时,拍摄目标页面对应的目标图像,该目标图像包含指定物,且该指定物遮挡了目标页面中的目标内容;将目标图像与初始图像进行内容比对,以确定指定物遮挡的目标页面中的目标内容;搜索与目标内容相关的、且对应于用户搜索意图的学习内容。可见,实施本发明实施例,能够利用不包含指定物的初始图像来确定目标页面中被指定物遮挡的目标内容,消除指定物遮挡带来的影响,进而提高学习内容的搜索的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种学习内容的搜索方法的流程示意图;
图2是本发明实施例公开的另一种学习内容的搜索方法的流程示意图;
图3是本发明实施例公开的一种学习设备的结构示意图;
图4是本发明实施例公开的另一种学习设备的结构示意图;
图5是本发明实施例公开的另一种学习设备的结构示意图;
图6是本发明实施例公开的一种学习设备拍摄图像的过程的示例图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同的对象,而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种学习内容的搜索方法及学习设备,能够补全图像中被物体遮挡的搜索内容,进而提高搜索的准确率。以下进行结合附图进行详细描述。
实施例一
请参阅图1,图1是本发明实施例公开的一种学习内容的搜索方法的流程示意图。如图1所示,该学习内容的搜索方法可以包括以下步骤。
101、当检测到当前时间属于用户的作业时间时,学习设备拍摄目标页面对应的初始图像;该初始图像未包含指定物。
本发明实施例中,上述学习设备可以是家教机、学习平板或学习手机等用于学习的电子设备,本发明实施例不作限定。可选的,学习设备可以配置有拍摄模组以用于拍摄图像,该拍摄模组可以是弹出式的摄像头、可旋转的摄像头和/或凸出式摄像头等。此外,学习设备可以配置有反光镜,将该反光镜插在学习设备的上边沿以完成图像拍摄;进一步的,学习设备还可以包括底座,该底座用于限定学习设备的摆放角度,在使用学习设备时,可以利用底座使学习设备与桌面成一定角度竖直放置,将书本等学习资料放置于学习设备前端的桌面上,使摄像头能够拍摄拍摄反光镜反射的内容。
作为一种可选的实施方式,在步骤101之前,还可以包括以下步骤:
学习设备获取用户的作业轨迹,该作业轨迹包含用户的作业时间;学习设备根据用户的作业轨迹检测当前时间是否属于用户的作业时间。
可选的,学习设备获取用户的作业轨迹的方式可以为:学习设备记录用户的常规作业时间以获得用户的作业轨迹;
进一步可选的,学习设备获取用户的作业轨迹的方式还可以为:学习设备接收输入的作业时间以生成用户的作业轨迹。
可见,实施本实施方式,学习设备能够获知用户一般在什么时间进行作业,在当前时间属于用户的作业时间时,学习设备自动拍摄目标页面对应的初始图像,而无需用户手工进行操作,能够提高用户的学习效率。
作为一种可选的实施方式,在步骤101之后,还可以包括以下步骤:
学习设备通过学习设备的红外线检测装置检测目标页面是否发生位置移动;若是,学习设备重新拍摄目标页面以更新上述初始图像。
可见,实施本实施方式,在目标页面的位置发生移动时,拍摄到的页面内容会有所不同,学习设备重新拍摄目标页面以更新上述初始图像,能够避免由于目标页面移动造成后续的确定上述指定物遮挡的目标页面中的目标内容失败。
本发明实施例中,上述指定物可以为手指、写字笔或扫描笔等可以用于指定位置的物品,本发明实施例不作限定。
102、当检测到包含用户搜索意图的语音信息时,学习设备拍摄目标页面对应的目标图像,该目标图像包含指定物,该指定物遮挡了目标页面中的目标内容。
本发明实施例中,学习设备拍摄目标页面对应的初始图像以及目标图像的过程可以参阅图6,图6本发明实施例公开的一种学习设备拍摄图像的过程的示例图,如图6所示,学习设备控制拍摄模组进行拍摄以获得图像的方式可以为:图中学习设备10可以设置有拍摄模组20,拍摄模组20用于拍摄以获得图像;在拍摄模组20正前方还可以设置有反光装置30(例如,反光镜、棱镜或凸透镜等),反光装置30用于改变拍摄模组的光路,进而使得拍摄模组20拍摄到载体图40。通过使学习设备10的拍摄模组20拍摄到载体图40在反光装置30中的成像,而不用手动改变学习设备10的放置方式,能够简化拍摄过程,提高拍摄效率。
本发明实施例中,学习设备可以内置有麦克风装置,用于采集用户输入的语音信息,进而可以利用自然语言处理(Natural Language Processing,NLP)技术识别用户输入的语音信息的语义以确定出用户意图;其中,NLP技术是人工智能的一个子领域,是一种处理人与计算机交互语言问题的技术。
本发明实施例中,可以理解,上述指定物可以遮挡了目标页面中的目标内容的部分内容,也可以遮挡了目标页面中的目标内容的全部内容,其中,目标内容是根据指定物在目标图像中的位置以及用户的搜索意图进行确定的。
103、学习设备将目标图像与初始图像进行内容比对,以确定上述指定物遮挡的目标页面中的目标内容。
本发明实施中,可以理解,初始图像包含了目标页面的全部内容,通过将目标图像与初始图像进行内容比对,学习设备能够确定指定物遮挡的目标页面中的目标内容。
104、学习设备搜索与目标内容相关的、且对应于用户搜索意图的学习内容。
本发明实施例中,可以理解,学习设备可以将目标内容上传至云端服务器进行搜索,再接收由云端服务器返回的学习内容。
举例来说,年龄较小的孩子在遇到问题时往往难以完整地表达自己的问题,一般都是用手指着书本中对应的问题进行提问,如“这道题怎么做?”、“这个字怎么念?”或“这个我不会?”等。本发明实施例中,学习设备可以为学生提供了“一点一问”的学习模式,学生可以用指定物(如手指)指着学习资料(如书本)中的内容,同时通过语音进行提问,虽然存在目标内容被指定物遮挡,影响学习设备对图像内容的识别的现象,但是学习设备能够利用不包含指定物的初始图像确定目标内容,并搜索与目标内容相关的、且对应于用户搜索意图的学习内容,能够提高学习内容的搜索的准确率,这种学习模式符合实际场景,能够提升学生的学习体验。
可见,实施图1所描述的方法,能够利用不包含指定物的初始图像来确定目标页面中被指定物遮挡的目标内容,消除指定物遮挡带来的影响,进而提高学习内容的搜索的准确率。
实施例二
请参阅图2,图2是本发明实施例公开的另一种学习内容的搜索方法的流程示意图。如图2所示,该学习内容的搜索方法可以包括以下步骤。
201、当检测到当前时间属于用户的作业时间时,学习设备获取学习设备的当前位置。
本发明实施例中,学习设备可以内置有全球定位系统(Global PositioningSystem,GPS)模块,相应地学习设备可以通过其内置的GPS模块来检测其当前位置信息。
本发明实施例中,学习设备可以通过互联网向位置服务器发送位置获取请求,该位置获取请求携带有学习设备的电话号码;相应地,位置服务器可以通过互联网获取学习设备发送的位置获取请求,并生成七号信令位置查询数据包,并发送到位置服务器链接的移动网络关口局,由移动网络关口局按照查询要求,将七号信令位置查询数据包发送到学习设备的电话号码的归属位置寄存器(Home Location Register,HLR)去查询学习设备的当前位置信息,并且移动网络关口局可以将查询到的学习设备的当前位置信息返回给位置服务器,再由位置服务器返回给学习设备。其中,学习设备的当前位置信息可以采用小区编号(如某学校包括的小区编号)来表示。这种实施方式可以有效地降低学习设备的查询位置信息的功耗。
202、学习设备判断当前位置是否位于预设学习地点;若是,转向步骤203;若否,结束本流程。
本发明实施中,预设学习点可以是预设的学校地址、家庭地址或图书馆地址等可以进行学习活动的地址,本发明实施例不作限定。
203、学习设备通过学习设备的第一摄像头拍摄目标页面对应的初始图像。
本发明实施例中,在检测到当前时间属于用户的作业时间时,学习设备进一步检测当前位置是否位于预设学习地点,当当前位置位于预设学习地点才拍摄目标页面对应的初始图像,能够提高判断当前用户是否处于学习状态的准确性。
204、当检测到包含用户搜索意图的语音信息时,学习设备拍摄目标页面对应的目标图像,该目标图像包含指定物,该指定物遮挡了目标页面中的目标内容。
205、学习设备识别指定物在目标图像中的第一坐标位置,以根据该第一坐标位置识别目标图像中被遮挡的区域。
206、学习设备根据第一坐标位置确定初始图像中与第一坐标位置对应的第二坐标位置。
207、学习设备利用初始图像中第二坐标位置的指定范围内的图像内容还原目标图像中被遮挡的区域的内容,以确定指定物遮挡的目标页面中的目标内容。
208、学习设备搜索与目标内容相关的、且对应于用户搜索意图的学习内容。
209、学习设备从语音信息中提取声音因子,并根据该声音因子以及语音发展规律模型获取用户的年龄段信息。
210、学习设备从搜索得到的学习内容中提取与年龄段信息相匹配的目标学习内容,并推送该目标学习内容。
本发明实施例中,实施步骤209~210,学习设备从搜索到的学习内容中筛选出于用户年龄相适配的目标学习内容推送给用户,而无需用户从搜索得到的学习内容中进行筛选,能够节约用户的时间,从而提升用户体验。
作为一种可选的实施方式,上述学习内容的搜索方法还可以包括以下步骤:
学习设备通过学习设备的第二摄像头获取用户的眼球运动参数;学习设备利用眼球运动参数获取用户的眼睛状态信息;学习设备检测学习设备当前所处环境的光线信息;学习设备根据用户的眼睛状态信息以及光线信息调节学习设备的显示屏的屏幕参数,以使显示屏符合用户的眼睛对标准舒适度的要求。
可以理解,学习设备配置的拍摄模组还可以在用户看向学习设备时(比如用户查看目标推送内容时)拍摄用户的眼睛以分析获得用户的眼睛状态信息,再结合学习设备当前所处环境的光线信息来调节学习设备的显示屏的参数使得显示屏符合用户的眼睛对标准舒适度的要求,实施本实施方式,有利于减少用户的眼睛疲劳感,保障用户的眼睛健康,进而提升用户体验。
作为一种可选的实施方式,在步骤210之后,还可以包括以下步骤:
学习设备检测目标学习内容是否包含音频内容;若目标学习内容包含音频内容,学习设备检测学习设备所处的当前声音环境;学习设备将学习设备的音量调整至与声音环境相适配的目标音量;当检测到播放音频内容的指令时,学习设备以目标音量播放音频内容。
实施本实施方式,当学习设备所处的当前环境较为安静时,学习设备可以将音量适当控制在较低范围,同理,当学习设备所处的当前环境较为嘈杂时学习设备可以将音量适当控制在较高范围,使得用户能够拥有较好的听觉体验;此外,无需用户手动调节音量,能够提升用户的使用体验。
作为一种可选的实施方式,在步骤210之后,还可以包括以下步骤:
学习设备判断目标学习内容的输出形式是否为视频;若是,在播放视频的过程中,学习设备通过学习设备的第二摄像头按照预设时间周期获取用户图像;识别该用户图像中用户是否处于观看视频状态;当连续预设帧用户图像指示用户不处于视频观看状态时,学习设备获取上述连续预设帧用户图像中的第一帧用户图像的拍摄时间;学习设备将视频调整至该拍摄时间对应的播放画面,并暂停播放。
可见,实施本实施方式,学习设备能够对将视频调整至用户开始不处于观看状态时的播放画面,并暂停播放,使得用户无需凭借记忆去进行调整,能够节约用户的时间。举例来说,用户在观看视频的过程中,可能临时需要记笔记或者离开一会且忘记暂停视频,等用户想要接着之前的播放进度观看时,无需花费时间去调整视频的播放进度。
可见,实施图2所描述的方法,能够利用不包含指定物的初始图像来确定目标页面中被指定物遮挡的目标内容,消除指定物遮挡带来的影响,进而提高学习内容的搜索的准确率。此外,实施图2所描述的方法,从搜索到的学习内容中筛选出于用户年龄相适配的目标学习内容推送给用户,能够节约用户的时间。此外,实施图2所描述的方法,有利于减少用户的眼睛疲劳感,保障用户的眼睛健康,进而提升用户体验。
实施例三
请参阅图3,图3是本发明实施例公开的一种学习设备的结构示意图。如图3所示,该学习设备可以包括:
第一拍摄单元301,用于当检测到当前时间属于用户的作业时间时,拍摄目标页面对应的初始图像;初始图像未包含指定物;
作为一种可选的实施方式,第一拍摄单元301还用于在拍摄目标页面对应的初始图像之前,获取用户的作业轨迹,该作业轨迹包含用户的作业时间;根据用户的作业轨迹检测当前时间是否属于用户的作业时间。
可选的,第一拍摄单元301用于获取用户的作业轨迹的方式具体可以为:第一拍摄单元301记录用户的常规作业时间以获得用户的作业轨迹;
进一步可选的,第一拍摄单元301获取用户的作业轨迹的方式具体还可以为:第一拍摄单元301接收输入的作业时间以生成用户的作业轨迹。
可见,实施本实施方式,学习设备能够获知用户一般在什么时间进行作业,在当前时间属于用户的作业时间时,学习设备自动拍摄目标页面对应的初始图像,而无需用户手动进行操作,能够提高用户的学习效率。
作为一种可选的实施方式,第一拍摄单元301还用于在拍摄目标页面对应的初始图像之后,通过学习设备的红外线检测装置检测目标页面是否发生位置移动;若是,重新拍摄目标页面以更新上述初始图像。
可见,实施本实施方式,在目标页面的位置发生移动时,拍摄到的页面内容会有所不同,学习设备重新拍摄目标页面以更新上述初始图像,能够避免由于目标页面移动造成后续的确定上述指定物遮挡的目标页面中的目标内容失败。
第二拍摄单元302,用于当检测到包含用户搜索意图的语音信息时,拍摄目标页面对应的目标图像,目标图像包含指定物,指定物遮挡了目标页面中的目标内容;
对比单元303,用于将目标图像与初始图像进行内容比对,以确定指定物遮挡的目标页面中的目标内容;
搜索单元304,用于搜索与目标内容相关的、且对应于用户搜索意图的学习内容。
可见,实施图3所描述的学习设备,能够利用不包含指定物的初始图像来确定目标页面中被指定物遮挡的目标内容,消除指定物遮挡带来的影响,进而提高学习内容的搜索的准确率。
实施例四
请参阅图4,图4是本发明实施例公开的另一种学习设备的结构示意图。其中,图4所示的学习设备是由图3所示的学习设备进行优化得到的。与图3所示的学习设备相比较,图4所示的学习设备还可以包括:
对比单元303可以包括:
识别子单元3031,用于识别指定物在目标图像中的第一坐标位置,以根据该第一坐标位置识别目标图像中被遮挡的区域;
确定子单元3032,用于根据第一坐标位置确定初始图像中与第一坐标位置对应的第二坐标位置;
还原子单元3033,用于利用初始图像中第二坐标位置的指定范围内的图像内容还原目标图像中被遮挡的区域的内容,以确定指定物遮挡的目标页面中的目标内容。
第一拍摄单元301可以包括:
获取子单元3011,用于当检测到当前时间属于用户的作业时间时,获取学习设备的当前位置;
判断子单元3012,用于判断当前位置是否位于预设学习地点;
拍摄子单元3013,用于在判断子单元3012判断出当前位置位于预设学习地点时,通过学习设备的第一摄像头拍摄目标页面对应的初始图像。
第一提取单元305,用于在搜索单元304搜索与目标内容相关的、且对应于用户搜索意图的学习内容之后,从语音信息中提取声音因子;
第一获取单元306,用于根据声音因子以及语音发展规律模型获取用户的年龄段信息;
第二提取单元307,用于从搜索得到的学习内容中提取与年龄段信息相匹配的目标学习内容;
推送单元308,用于推送目标学习内容。
作为一种可选的实施方式,上述学习设备还可以包括以下单元:
第二获取单元309,用于通过学习设备的第二摄像头获取用户的眼球运动参数;
第二获取单元309,还用于利用眼球运动参数获取用户的眼睛状态信息;
检测单元310,用于检测学习设备当前所处环境的光线信息;
调节单元311,用于根据用户的眼睛状态信息以及光线信息调节学习设备的显示屏的屏幕参数,以使显示屏符合用户的眼睛对标准舒适度的要求。
可以理解,学习设备配置的拍摄模组还可以在用户看向学习设备时(比如用户查看目标推送内容时)拍摄用户的眼睛以分析获得用户的眼睛状态信息,再结合学习设备当前所处环境的光线信息来调节学习设备的显示屏的参数使得显示屏符合用户的眼睛对标准舒适度的要求,实施本实施方式,有利于减少用户的眼睛疲劳感,保障用户的眼睛健康,进而提升用户体验。
作为一种可选的实施方式,推送单元308还用于在推送目标学习内容之后,检测目标学习内容是否包含音频内容;若目标学习内容包含音频内容,检测学习设备所处的当前声音环境;将学习设备的音量调整至与声音环境相适配的目标音量;当检测到播放音频内容的指令时,以目标音量播放音频内容。
实施本实施方式,当学习设备所处的当前环境较为安静时,学习设备可以将音量适当控制在较低范围,同理,当学习设备所处的当前环境较为嘈杂时学习设备可以将音量适当控制在较高范围,使得用户能够拥有较好的听觉体验;此外,无需用户手动调节音量,能够提升用户的使用体验。
作为一种可选的实施方式,推送单元308还用于在推送目标学习内容之后,判断目标学习内容的输出形式是否为视频;若是,在播放视频的过程中,通过学习设备的第二摄像头按照预设时间周期获取用户图像;识别该用户图像中用户是否处于观看视频状态;当连续预设帧用户图像指示用户不处于视频观看状态时,获取上述连续预设帧用户图像中的第一帧用户图像的拍摄时间;将视频调整至该拍摄时间对应的播放画面,并暂停播放。
可见,实施本实施方式,学习设备能够对将视频调整至用户开始不处于观看状态时的播放画面,并暂停播放,使得用户无需凭借记忆去进行调整,能够节约用户的时间。举例来说,用户在观看视频的过程中,可能临时需要记笔记或者离开一会且忘记暂停视频,等用户想要接着之前的播放进度观看时,无需花费时间去调整视频的播放进度。
可见,实施图4所描述的学习设备,能够利用不包含指定物的初始图像来确定目标页面中被指定物遮挡的目标内容,消除指定物遮挡带来的影响,进而提高学习内容的搜索的准确率。此外,实施图4所描述的学习设备,从搜索到的学习内容中筛选出于用户年龄相适配的目标学习内容推送给用户,能够节约用户的时间。此外,实施图4所描述的学习设备,有利于减少用户的眼睛疲劳感,保障用户的眼睛健康,进而提升用户体验。
实施例五
请参阅图5,图5是本发明实施例公开的另一种学习设备的结构示意图。如图5所示,该学习设备可以包括:
存储有可执行程序代码的存储器501;
与存储器501耦合的处理器502;
其中,处理器502调用存储器501中存储的可执行程序代码,执行图1~图2任意一种学习内容的搜索方法。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1~图2任意一种学习内容的搜索方法。
本发明实施例还公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本发明实施例还公开一种应用发布平台,该应用发布平台用于发布计算机程序产品,其中,当上述计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种学习内容的搜索方法及学习设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种学习内容的搜索方法,其特征在于,所述方法包括:
当检测到当前时间属于用户的作业时间时,拍摄目标页面对应的初始图像;所述初始图像未包含指定物;
当检测到包含用户搜索意图的语音信息时,拍摄所述目标页面对应的目标图像,所述目标图像包含所述指定物,所述指定物遮挡了所述目标页面中的目标内容;
将所述目标图像与所述初始图像进行内容比对,以确定所述指定物遮挡的所述目标页面中的所述目标内容;
搜索与所述目标内容相关的、且对应于所述用户搜索意图的学习内容。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标图像与所述初始图像进行内容比对,以确定所述指定物遮挡的所述目标页面中的所述目标内容,包括:
识别所述指定物在所述目标图像中的第一坐标位置,以根据所述第一坐标位置识别所述目标图像中被遮挡的区域;
根据所述第一坐标位置确定所述初始图像中与所述第一坐标位置对应的第二坐标位置;
利用所述初始图像中所述第二坐标位置的指定范围内的图像内容还原所述目标图像中被遮挡的区域的内容,以确定所述指定物遮挡的所述目标页面中的所述目标内容。
3.根据权利要求1或2所述的方法,其特征在于,所述当检测到当前时间属于用户的作业时间时,拍摄目标页面对应的初始图像,包括:
当检测到当前时间属于用户的作业时间时,获取学习设备的当前位置;
判断所述当前位置是否位于预设学习地点;
若是,通过所述学习设备的第一摄像头拍摄目标页面对应的初始图像。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述搜索与所述目标内容相关的、且对应于所述用户搜索意图的学习内容之后,所述方法还包括:
从所述语音信息中提取声音因子;
根据所述声音因子以及语音发展规律模型获取所述用户的年龄段信息;
从搜索得到的所述学习内容中提取与所述年龄段信息相匹配的目标学习内容;
推送所述目标学习内容。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
通过所述学习设备的第二摄像头获取所述用户的眼球运动参数;
利用所述眼球运动参数获取所述用户的眼睛状态信息;
检测所述学习设备当前所处环境的光线信息;
根据所述用户的眼睛状态信息以及所述光线信息调节所述学习设备的显示屏的屏幕参数,以使所述显示屏符合所述用户的眼睛对标准舒适度的要求。
6.一种学习设备,其特征在于,所述学习设备包括:
第一拍摄单元,用于当检测到当前时间属于用户的作业时间时,拍摄目标页面对应的初始图像;所述初始图像未包含指定物;
第二拍摄单元,用于当检测到包含用户搜索意图的语音信息时,拍摄所述目标页面对应的目标图像,所述目标图像包含所述指定物,所述指定物遮挡了所述目标页面中的目标内容;
对比单元,用于将所述目标图像与所述初始图像进行内容比对,以确定所述指定物遮挡的所述目标页面中的所述目标内容;
搜索单元,用于搜索与所述目标内容相关的、且对应于所述用户搜索意图的学习内容。
7.根据权利要求6所述的学习设备,其特征在于,所述对比单元包括:
识别子单元,用于识别所述指定物在所述目标图像中的第一坐标位置,以根据所述第一坐标位置识别所述目标图像中被遮挡的区域;
确定子单元,用于根据所述第一坐标位置确定所述初始图像中与所述第一坐标位置对应的第二坐标位置;
还原子单元,用于利用所述初始图像中所述第二坐标位置的指定范围内的图像内容还原所述目标图像中被遮挡的区域的内容,以确定所述指定物遮挡的所述目标页面中的所述目标内容。
8.根据权利要求6或7所述的学习设备,其特征在于,所述第一拍摄单元包括:
获取子单元,用于当检测到当前时间属于用户的作业时间时,获取学习设备的当前位置;
判断子单元,用于判断所述当前位置是否位于预设学习地点;
拍摄子单元,用于在所述判断子单元判断出所述当前位置位于所述预设学习地点时,通过所述学习设备的第一摄像头拍摄目标页面对应的初始图像。
9.根据权利要求6至8任一项所述的学习设备,其特征在于,所述学习设备还包括:
第一提取单元,用于在所述搜索单元搜索与所述目标内容相关的、且对应于所述用户搜索意图的学习内容之后,从所述语音信息中提取声音因子;
第一获取单元,用于根据所述声音因子以及语音发展规律模型获取所述用户的年龄段信息;
第二提取单元,用于从搜索得到的所述学习内容中提取与所述年龄段信息相匹配的目标学习内容;
推送单元,用于推送所述目标学习内容。
10.根据权利要求6至9任一项所述的学习设备,其特征在于,所述学习设备还包括:
第二获取单元,用于通过所述学习设备的第二摄像头获取所述用户的眼球运动参数;
所述第二获取单元,还用于利用所述眼球运动参数获取所述用户的眼睛状态信息;
检测单元,用于检测所述学习设备当前所处环境的光线信息;
调节单元,用于根据所述用户的眼睛状态信息以及所述光线信息调节所述学习设备的显示屏的屏幕参数,以使所述显示屏符合所述用户的眼睛对标准舒适度的要求。
11.一种学习设备,其特征在于,所述学习设备包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行权利要求1~5任一项所述的一种学习内容的搜索方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行权利要求1~5任一项所述的一种学习内容的搜索方法。
CN201910121446.2A 2019-02-19 2019-02-19 一种学习内容的搜索方法及学习设备 Pending CN111026901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910121446.2A CN111026901A (zh) 2019-02-19 2019-02-19 一种学习内容的搜索方法及学习设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910121446.2A CN111026901A (zh) 2019-02-19 2019-02-19 一种学习内容的搜索方法及学习设备

Publications (1)

Publication Number Publication Date
CN111026901A true CN111026901A (zh) 2020-04-17

Family

ID=70203484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910121446.2A Pending CN111026901A (zh) 2019-02-19 2019-02-19 一种学习内容的搜索方法及学习设备

Country Status (1)

Country Link
CN (1) CN111026901A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723855A (zh) * 2020-06-09 2020-09-29 广东小天才科技有限公司 一种学习知识点的显示方法、终端设备及存储介质
CN112433664A (zh) * 2020-11-17 2021-03-02 东莞市东全智能科技有限公司 用于书本阅读过程中的人机交互方法、装置及电子设备
CN113015064A (zh) * 2021-03-15 2021-06-22 读书郎教育科技有限公司 一种扫描笔免打扰他人的播放系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031754A (ja) * 2003-07-07 2005-02-03 Ricoh Elemex Corp 座標入力装置、座標入力方法およびその方法をコンピュータに実行させるためのプログラム
CN105788564A (zh) * 2015-12-24 2016-07-20 广东小天才科技有限公司 一种自动调节屏幕显示的方法及系统
CN108566516A (zh) * 2018-05-14 2018-09-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109165336A (zh) * 2018-08-23 2019-01-08 广东小天才科技有限公司 一种信息输出控制方法及家教设备
CN109192204A (zh) * 2018-08-31 2019-01-11 广东小天才科技有限公司 一种基于智能设备摄像头的语音控制方法和智能设备
CN109271585A (zh) * 2018-08-30 2019-01-25 广东小天才科技有限公司 一种信息推送方法及家教设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031754A (ja) * 2003-07-07 2005-02-03 Ricoh Elemex Corp 座標入力装置、座標入力方法およびその方法をコンピュータに実行させるためのプログラム
CN105788564A (zh) * 2015-12-24 2016-07-20 广东小天才科技有限公司 一种自动调节屏幕显示的方法及系统
CN108566516A (zh) * 2018-05-14 2018-09-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109165336A (zh) * 2018-08-23 2019-01-08 广东小天才科技有限公司 一种信息输出控制方法及家教设备
CN109271585A (zh) * 2018-08-30 2019-01-25 广东小天才科技有限公司 一种信息推送方法及家教设备
CN109192204A (zh) * 2018-08-31 2019-01-11 广东小天才科技有限公司 一种基于智能设备摄像头的语音控制方法和智能设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723855A (zh) * 2020-06-09 2020-09-29 广东小天才科技有限公司 一种学习知识点的显示方法、终端设备及存储介质
CN112433664A (zh) * 2020-11-17 2021-03-02 东莞市东全智能科技有限公司 用于书本阅读过程中的人机交互方法、装置及电子设备
CN113015064A (zh) * 2021-03-15 2021-06-22 读书郎教育科技有限公司 一种扫描笔免打扰他人的播放系统及方法
CN113015064B (zh) * 2021-03-15 2022-04-05 读书郎教育科技有限公司 一种扫描笔免打扰他人的播放系统及方法

Similar Documents

Publication Publication Date Title
CN111026901A (zh) 一种学习内容的搜索方法及学习设备
CN111077996B (zh) 一种基于点读的信息推荐方法及学习设备
US20170171471A1 (en) Method and device for generating multimedia picture and an electronic device
CN111026949A (zh) 一种基于电子设备的搜题方法及系统
CN111079494A (zh) 一种学习内容推送方法及电子设备
CN109309757B (zh) 备忘录提醒方法及终端
CN111077992B (zh) 一种点读方法、电子设备及存储介质
CN111078179A (zh) 一种听写报读进度的控制方法及电子设备
CN114697539A (zh) 拍照推荐方法、装置、电子设备以及存储介质
CN111078982B (zh) 一种电子页面的检索方法、电子设备及存储介质
CN111079726B (zh) 一种图像处理方法及电子设备
CN111027354B (zh) 一种学习内容获取方法及学习设备
CN116580707A (zh) 基于语音生成动作视频的方法和装置
CN111027353A (zh) 一种搜索内容的提取方法及电子设备
CN111091034A (zh) 一种基于多手指识别的搜题方法及家教设备
CN111079495A (zh) 一种点读模式的开启方法及电子设备
CN111159433B (zh) 一种内容定位方法及电子设备
CN111078080B (zh) 一种点读控制方法及电子设备
CN110795918A (zh) 确定阅读位置的方法、装置及设备
CN111079498B (zh) 一种基于口型识别的学习功能切换方法及电子设备
CN111079727B (zh) 一种点读控制方法及电子设备
CN111077989B (zh) 一种基于电子设备的屏幕控制方法及电子设备
CN111090383B (zh) 一种指令识别方法及电子设备
CN111028558A (zh) 一种听写检测方法及电子设备
CN111967380A (zh) 内容推荐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination