CN110609833A - 一种书本页码的识别方法、装置、家教机及存储介质 - Google Patents

一种书本页码的识别方法、装置、家教机及存储介质 Download PDF

Info

Publication number
CN110609833A
CN110609833A CN201910886970.9A CN201910886970A CN110609833A CN 110609833 A CN110609833 A CN 110609833A CN 201910886970 A CN201910886970 A CN 201910886970A CN 110609833 A CN110609833 A CN 110609833A
Authority
CN
China
Prior art keywords
user
information
page
learning
book
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910886970.9A
Other languages
English (en)
Inventor
崔颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201910886970.9A priority Critical patent/CN110609833A/zh
Publication of CN110609833A publication Critical patent/CN110609833A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明属于家教机领域,公开了一种书本页码的识别方法、装置、家教机及存储介质,其方法包括:获取用户阅读的当前页面图像;在数据库中查找与所述当前页面图像匹配的存储页面;当所述存储页面为多个时,根据预先生成的所述用户的学习画像在所述存储页面中筛选出目标存储页面;根据所述目标存储页面识别所述当前页面图像对应的页码。本发明当根据当前页面图像在数据库中匹配到多个存储页面时,根据用户的学习画像将不符合用户学习画像的存储页面剔除掉,可降低相似页面的干扰,提高页码识别的准确率。

Description

一种书本页码的识别方法、装置、家教机及存储介质
技术领域
本发明属于家教机技术领域,特别涉及一种书本页码的识别方法、装置、家教机及存储介质。
背景技术
儿童在学习成长过程中需要阅读大量的书籍,为了保护儿童的视力,一般家长会让儿童阅读纸质书籍。儿童在阅读纸质书籍的过程中经常会遇到各种困难,如会遇到不认识的字、不理解的词等。儿童遇到问题时需要借助家长的帮助,但是家长工作比较忙,经常不能及时的帮助儿童解决问题,进而导致儿童的阅读兴趣下降,不利于儿童的学习。家教机的出现很好地解决了这一问题。
家教机配备有点读功能,在使用家教机的点读功能帮助儿童阅读纸质书本时,需要准确识别用户指向的页面的页码,然后从数据库中获取书本中该页码的内容,以便在该页码中获取用户需要辅助阅读的内容。但是,由于各种因素的干扰,尤其是相似度高的页面的干扰,点读模式下通过图片搜索的方式对书本页码进行识别精度不够,常常会出现页码识别不准的问题。
发明内容
本发明的目的是提供一种书本页码的识别方法、装置、家教机及存储介质,有效解决现有家教机页码识别不准确的问题。
本发明提供的技术方案如下:
一方面,提供一种书本页码的识别方法,包括:
获取用户阅读的当前页面图像;
在数据库中查找与所述当前页面图像匹配的存储页面;
当所述存储页面为多个时,根据预先生成的所述用户的学习画像在所述存储页面中筛选出目标存储页面;
根据所述目标存储页面识别所述当前页面图像对应的页码。
进一步优选地,所述获取用户阅读的当前页面图像之前还包括:
获取用户的学习数据;
对所述用户的学习数据进行数据清洗;
从清洗后的学习数据中获取所述用户的基本信息和各学科的掌握信息;
根据所述基本信息和所述各学科的掌握信息,生成所述用户的学习画像。
进一步优选地,所述当所述存储页面为多个时,根据预先生成的所述用户的学习画像在所述存储页面中筛选出目标存储页面具体包括:
当所述存储页面为多个时,获取所述存储页面对应的属性信息;
根据所述属性信息,在预先生成的所述用户的学习画像中得到所述用户的学习信息,所述学习信息包括年级信息、学习进度信息、学习爱好信息和知识点掌握信息中的一种或多种;
根据所述用户的学习信息和所述属性信息,在所述存储页面中筛选出目标存储页面。
进一步优选地,所述获取用户阅读的当前页面图像之前还包括:
获取用户阅读的书本的封面图像和背面图像;
根据所述封面图像和所述背面图像,在数据库中查找所述书本对应的电子书本;
所述在数据库中查找与所述当前页面图像匹配的存储页面具体包括:
在所述电子书本中查找与所述当前页面图像匹配的存储页面。
另一方面,还提供一种书本页码的识别装置,包括:
图像获取模块,用于获取用户阅读的当前页面图像;
查找模块,用于在数据库中查找与所述当前页面图像匹配的存储页面;
筛选模块,用于当所述存储页面为多个时,根据预先生成的所述用户的学习画像在所述存储页面中筛选出目标存储页面;
识别模块,用于根据所述目标存储页面识别所述当前页面图像对应的页码。
进一步优选地,还包括:
数据获取模块,用于获取用户的学习数据;
数据清洗模块,用于对所述用户的学习数据进行数据清洗;
信息获取模块,用于从清洗后的学习数据中获取所述用户的基本信息和各学科的掌握信息;
生成模块,用于根据所述基本信息和所述各学科的掌握信息,生成所述用户的学习画像。
进一步优选地,所述筛选模块包括:
属性获取单元,用于当所述存储页面为多个时,获取所述存储页面对应的属性信息;
信息获取单元,用于根据所述属性信息,在预先生成的所述用户的学习画像中得到所述用户的学习信息,所述学习信息包括年级信息、学习进度信息、学习爱好信息和知识点掌握信息中的一种或多种;
筛选单元,用于根据所述用户的学习信息和所述属性信息,在所述存储页面中筛选出目标存储页面。
进一步优选地,所述图像获取模块,还用于获取用户阅读的书本的封面图像和背面图像;
所述查找模块,还用于根据所述封面图像和所述背面图像,在数据库中查找所述书本对应的电子书本;
所述查找模块,还用于在所述电子书本中查找与所述当前页面图像匹配的存储页面。
又一方面,还提供了一种家教机,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时实现上述任一项的书本页码的识别方法的步骤。
再一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项的书本页码的识别方法的步骤。
与现有技术相比,本发明提供的一种书本页码的识别方法、装置、家教机及存储介质具有以下有益效果:本发明当根据当前页面图像在数据库中匹配到多个存储页面时,根据用户的学习画像将不符合用户学习画像的存储页面剔除掉,可降低相似页面的干扰,提高页码识别的准确率。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种书本页码的识别方法、装置、家教机及存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种书本页码的识别方法的一个实施例的流程示意图;
图2是本发明一种书本页码的识别方法的另一个实施例的流程示意图;
图3是本发明一种书本页码的识别方法的又一个实施例的流程示意图;
图4是本发明一种书本页码的识别方法的再一个实施例的流程示意图;
图5是本发明一种书本页码的识别装置的一个实施例的结构示意框图;
图6是本发明一种家教机的一个实施例的结构示意框图。
附图标号说明
110、图像获取模块;120、查找模块;130、筛选模块;131、属性获取单元;132、信息获取单元;133、筛选单元;140、识别模块;150、数据获取模块;160、数据清洗模块;170、信息获取模块;180、生成模块;200、家教机;210、存储器;220、处理器。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
应当理解,当在本说明书中使用时,术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
本发明提供一种书本页码的识别方法的一个实施例,如图1所示,该书本页码的识别方法包括:
S100获取用户阅读的当前页面图像;
S200在数据库中查找与所述当前页面图像匹配的存储页面;
S300当所述存储页面为多个时,根据预先生成的所述用户的学习画像在所述存储页面中筛选出目标存储页面;
S400根据所述目标存储页面识别所述当前页面图像对应的页码。
具体地,儿童在阅读纸质书本时,可开启家教机的点读模式,当遇到不会的字词时,可通过语音等方式触发家教机通过拍照或摄像方式获取用户当前正在阅读的页面的图像,即获取用户阅读的当前页面图像。
家教机获取到当前页面图像后,在数据库中查找与该当前页面图像匹配的存储页面。查找匹配的存储页面时,可直接根据当前页面中的文字进行查找。例如,可直接在数据库中查找与用户阅读的当前页面中文字重复率大于一预设阈值的存储页面即可。为了提高查找的准确率,若当前页面中还包括图片,则除了对比文字的重复率,还可以对比图片的相似度,图片的相似度包括图片位置和图片轮廓的相似度。若文字的重复率和图片的相似度均大于预设阈值,则判断为匹配的存储页面。
若用户阅读的当前页面全部由文字组成时,若查找到了文字重复率达100%的存储页面,则可直接根据该存储页面确定当前页面的页码;若当前页面中既包括文字又包括图片时,若查找到文字的重复率和图片的相似度都接近100%的存储页面,则直接根据该存储页面确定当前页面的页码。
在检测文字重复率之前,需要先识别当前页面图像中的文字信息,然后根据识别出的文字信息计算当前页面与数据库中的各存储页面的文字重复率,再筛选出文字重复率大于预设阈值的存储页面。由于儿童在点读时,部分文字可能会被儿童的手指或指示笔等遮挡,使得获取的当前页面图像中的文字可能存在不全的情况,因此,判断文字重复率的预设阈值应设定为低于100%,如可设置为70%、80%等。同理,判断图片相似度的预设阈值也应设定为低于100%。
当根据上述方法查找到的存储页面只有一个时,则可直接根据该存储页面确定当前页面图像对应的页码。
当根据上述方法查找到的存储页面有多个时,需要从多个存储页面中确定出当前页面图像真正对应的目标存储页面。在存储页面中确定目标存储页面时,可先获取用户的学习画像,用户的学习画像是预先根据用户的学习数据生成的,学习画像中包含有用户在学习方面的各种信息,如年级信息、知识点掌握情况信息、学习爱好信息等。根据用户的学习画像可将存储页面中不符合用户的学习画像的存储页面剔除掉,进而得到目标存储页面。
示例性的,若查找到的多个存储页面中,有一个存储页面属于四年级书本中的页面,有一个存储页面属于五年级书本中的页面,而根据用户的学习画像获知用户为四年级的学生,则可根据用户的学习画像确定属于四年级书本中的存储页面为当前页面图像的目标存储页面。
在获取用户的学习画像之前,需要先识别用户的身份,用户身份可通过人脸识别技术、指纹识别技术或声纹识别技术等来识别。用户在使用家教机时需要先进行注册,注册时可获取用户的人脸图像、指纹信息或声纹信息等,用户在使用家教机时,需要使用人脸、指纹或声纹等信息进行登录,登录时家教机即可识别用户的身份。
根据用户的学习画像从存储页面中筛选出目标存储页面后,即可根据目标存储页面的页码识别当前页面图像对应的页码。识别出当前页面图像的页码之后,还包括识别用户指令,并识别用户手指/指示笔等工具在当前页面图像中的位置,然后根据识别出的用户指令和点读位置向用户播放对应内容的语音信息或向用户展示对应的内容。
本实施方式中,当根据当前页面图像在数据库中匹配到多个存储页面时,根据用户的学习画像将不符合用户学习画像的存储页面剔除掉,可降低相似页面的干扰,提高页码识别的准确率。
本发明提供一种书本页码的识别方法的另一个实施例,如图2所示,该书本页码的识别方法包括:
S010获取用户的学习数据;
具体地,用户在使用家教机上的其他应用软件时,会在家教机上留下运行数据,通过获取用户在家教机上运行各类学习软件的运行数据,即可得到用户的学习数据。例如,用户在家教机上观看学习视频的记录数据、在家教机上进行习题练习时的记录数据、在家教机上进行测验的记录数据等。
此外,还可通过获取学生所在学校的服务器上记录的学生数据来获取用户的学习数据。学校的服务器上一般记录有学生的姓名、年龄、性别、年级、班级、考试成绩、教学进度等信息。
家教机可间隔一段时间获取一次用户的学习数据,以便定期根据新获取的学习数据更新用户的学习画像。
S020对所述用户的学习数据进行数据清洗;
具体地,获取用户的学习数据后,先对学习数据进行清洗,过滤一些不能反映用户学习状况的数据,比如,用户在APP上发布的与学习无关的留言、日志等。数据清洗可采用预先设置好的清洗规则对学习数据进行清洗。
S030从清洗后的学习数据中获取所述用户的基本信息和各学科的掌握信息;
具体地,对学习数据进行清洗后,对每条学习数据进行分析,从学习数据中获取用户的基本信息和各学科的掌握信息。用户的基本信息可包括用户的年龄、性别、年级信息等。各学科的掌握信息包括各学科中各个知识点或各题型的掌握情况,以及学习进度信息等。
学校的服务器上存储有全校学生的姓名、年龄、性别、教学进度、考试成绩等,且学校的服务器上存储的数据是真实且准确的,因此,用户的基本信息可直接通过学校的服务器上存储的数据得到。
用户对各个学科的掌握信息需要根据用户的考试成绩、在学习软件上的学习信息以及在学习软件上的测验信息综合分析得到。各个学科的掌握信息可根据各个学科的特点分为知识点的掌握情况或题型的掌握情况。
例如,对于语文科目,可分为填词、阅读理解和作文等题型,通过分析每次考试、测验或习题练习中各种题型的得分情况可获知用户对各种题型的掌握情况。对于数学科目,可分为各个知识点,如一元一次方程、因式分解等。通过分析用户在每次考试、测验或习题练习中对于各个知识点的得分情况来获知用户对各个知识点的掌握情况。在实际应用中,可设置考试、测验和习题练习的权重,通过设置的权重来综合分析用户对各学科的掌握情况。
根据用户对各学科的掌握情况还可分析得到用户的学习兴趣,如成绩较好的科目一般为用户比较擅长且比较喜爱的科目,成绩较差的科目一般用户不擅长且不太喜欢的科目。
用户的学习进度信息可根据老师的教学进度信息以及用户在家教机上的学习数据分析得到。
S040根据所述基本信息和所述各学科的掌握信息,生成所述用户的学习画像;
具体地,得到用户的基本信息和各学科的掌握信息后,即可生成用户的学习画像。生成的学习画像中包含了学生的年龄信息、性别信息、年级信息、学习兴趣、学习进度、学习成绩、知识点掌握情况等。学习画像可间隔一段时间更新一次,使生成的学习画像可更准确地反应用户当前的学习状况,以便更根据用户的学习画像更准确地筛选出目标存储页面。
S100获取用户阅读的当前页面图像;
S200在数据库中查找与所述当前页面图像匹配的存储页面;
S300当所述存储页面为多个时,根据预先生成的所述用户的学习画像在所述存储页面中筛选出目标存储页面;
S400根据所述目标存储页面识别所述当前页面图像对应的页码。
本发明提供一种书本页码的识别方法的又一个实施例,如图3所示,该书本页码的识别方法包括:
S100获取用户阅读的当前页面图像;
S200在数据库中查找与所述当前页面图像匹配的存储页面;
S310当所述存储页面为多个时,获取所述存储页面对应的属性信息;
具体地,当在数据库中查找到的存储页面有多个时,获取所述存储页面预先标记的属性信息。书本在存入数据库中时,可标注书本中每个页面的属性信息,属性信息可包括页面所属书本的科目信息、年级信息、类型信息以及包含的知识点信息等。
S320根据所述属性信息,在预先生成的所述用户的学习画像中得到所述用户的学习信息,所述学习信息包括年级信息、学习进度信息、学习爱好信息和知识点掌握信息中的一种或多种;
具体地,得到每个存储页面的属性信息后,再根据存储页面的属性信息,在用户的学习画像中得到用户的学习信息,如用户的年级信息、学习进度信息、学习爱好信息和知识点掌握信息等。
示例性的,若属性信息为年级信息,则在用户的学习画像中获取用户的年级信息;若属性信息为包含的知识点信息,则在用户的学习画像中获取用户的学习进度信息;若属性信息既包括年级信息又包括知识点信息,则在用户的学习画像中获取用户的年级信息和用户的学习进度信息。
S330根据所述用户的学习信息和所述属性信息,在所述存储页面中筛选出目标存储页面;
具体地,得到存储页面的属性信息和用户的学习信息后,将存储页面的属性信息与得到的用户的学习信息进行比对,将属性信息与用户的学习信息不匹配的存储页面剔除掉,将属性信息与用户的学习信息匹配的存储页面作为目标存储页面。
例如,一个存储页面包含的知识点为二元一次方程,一个存储页面包含的知识点为一元一次方程,而从用户的学习画像中获知用户的学习进度为一元一次方程,则将知识点为二元一次方程对应的存储页面剔除掉,将知识点为一元一次方程对应的存储页面作为目标存储页面。
S400根据所述目标存储页面识别所述当前页面图像对应的页码。
本实施方式中,根据存储页面的属性信息,在用户的学习画像中获取与属性信息对应的学习信息,可减少获取的信息,提高信息获取速率,进而提高页码识别速率。
本发明提供一种书本页码的识别方法的再一个实施例,如图4所示,该书本页码的识别方法包括:
S050获取用户阅读的书本的封面图像和背面图像;
S060根据所述封面图像和所述背面图像,在数据库中查找所述书本对应的电子书本;
S100获取用户阅读的当前页面图像;
S210在所述电子书本中查找与所述当前页面图像匹配的存储页面;
S300当所述存储页面为多个时,根据预先生成的所述用户的学习画像在所述存储页面中筛选出目标存储页面;
S400根据所述目标存储页面识别所述当前页面图像对应的页码。
具体地,在将书本存入数据库中时,可以将一个书本的所有页面存储为一个电子书本,即一个书本对应一个电子书本。
在用户阅读某一书本时,可先获取该书本的封面图像和背面图像,然后根据该书本的封面图像和背面图像在数据库中查找到与该书本对应的电子书本。具体来说,用户在开始阅读之前,先通过摄像等方式采集书本的封面图像和背面图像,进行预处理操作(如滤波、透视变换等)之后,根据封面图像获取书本的名称、根据背面图像中的条形码,获取书本的版本号,获取到书名和版本号后,可根据书名和版本号在数据库中查找到该书本对应的电子书本。由于在实际使用过程中,书本会出现改版问题,导致出现封面相同但书本的内容出现少量更改的情况,因此,除了获取书本名称,还通过背面图像获取书本的版本号,更精确的确定对应版本的电子书本,以便提高页码识别的准确率。
当获取到该书本中的某一待识别页面图像时,可根据该待识别页面图像在该电子书本中查找匹配的存储页面。先根据封面图像和背面图像查找到对应的电子书本,然后在电子书本中查找匹配的存储页面,可减少其他电子书本中的页面的干扰,提高搜索效率和搜索准确率。
应理解,在上述各实施例中,各步骤序号的大小并不意味着执行顺序的先后,各步骤的执行顺序应以功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本发明还提供一种书本页码的识别装置的一个实施例,如图5所示,该书本页码的识别装置包括:
图像获取模块110,用于获取用户阅读的当前页面图像;
查找模块120,用于在数据库中查找与所述当前页面图像匹配的存储页面;
筛选模块130,用于当所述存储页面为多个时,根据预先生成的所述用户的学习画像在所述存储页面中筛选出目标存储页面;
识别模块140,用于根据所述目标存储页面识别所述当前页面图像对应的页码。
具体地,儿童在阅读纸质书本时,可开启家教机的点读模式,当遇到不会的字词时,可通过语音等方式触发家教机通过拍照或摄像方式获取用户当前正在阅读的页面的图像,即获取用户阅读的当前页面图像。
家教机获取到当前页面图像后,在数据库中查找与该当前页面图像匹配的存储页面。查找匹配的存储页面时,可直接根据当前页面中的文字进行查找。例如,可直接在数据库中查找与用户阅读的当前页面中文字重复率大于一预设阈值的存储页面即可。为了提高查找的准确率,若当前页面中还包括图片,则除了对比文字的重复率,还可以对比图片的相似度,图片的相似度包括图片位置和图片轮廓的相似度。若文字的重复率和图片的相似度均大于预设阈值,则判断为匹配的存储页面。
若用户阅读的当前页面全部由文字组成时,若查找到了文字重复率达100%的存储页面,则可直接根据该存储页面确定当前页面的页码;若当前页面中既包括文字又包括图片时,若查找到文字的重复率和图片的相似度都接近100%的存储页面,则直接根据该存储页面确定当前页面的页码。
在检测文字重复率之前,需要先识别当前页面图像中的文字信息,然后根据识别出的文字信息计算当前页面与数据库中的各存储页面的文字重复率,再筛选出文字重复率大于预设阈值的存储页面。由于儿童在点读时,部分文字可能会被儿童的手指或指示笔等遮挡,使得获取的当前页面图像中的文字可能存在不全的情况,因此,判断文字重复率的预设阈值应设定为低于100%,如可设置为70%、80%等。同理,判断图片相似度的预设阈值也应设定为低于100%。
当根据上述方法查找到的存储页面只有一个时,则可直接根据该存储页面确定当前页面图像对应的页码。
当根据上述方法查找到的存储页面有多个时,需要从多个存储页面中确定出当前页面图像真正对应的目标存储页面。在存储页面中确定目标存储页面时,可先获取用户的学习画像,用户的学习画像是预先根据用户的学习数据生成的,学习画像中包含有用户在学习方面的各种信息,如年级信息、知识点掌握情况信息、学习爱好信息等。根据用户的学习画像可将存储页面中不符合用户的学习画像的存储页面剔除掉,进而得到目标存储页面。
示例性的,若查找到的多个存储页面中,有一个存储页面属于四年级书本中的页面,有一个存储页面属于五年级书本中的页面,而根据用户的学习画像获知用户为四年级的学生,则可根据用户的学习画像确定属于四年级书本中的存储页面为当前页面图像的目标存储页面。
在获取用户的学习画像之前,需要先识别用户的身份,用户身份可通过人脸识别技术、指纹识别技术或声纹识别技术等来识别。用户在使用家教机时需要先进行注册,注册时可获取用户的人脸图像、指纹信息或声纹信息等,用户在使用家教机时,需要使用人脸、指纹或声纹等信息进行登录,登录时家教机即可识别用户的身份。
根据用户的学习画像从存储页面中筛选出目标存储页面后,即可根据目标存储页面的页码识别当前页面图像对应的页码。识别出当前页面图像的页码之后,还包括识别用户指令,并识别用户手指/指示笔等工具在当前页面图像中的位置,然后根据识别出的用户指令和点读位置向用户播放对应内容的语音信息或向用户展示对应的内容。
本实施方式中,当根据当前页面图像在数据库中匹配到多个存储页面时,根据用户的学习画像将不符合用户学习画像的存储页面剔除掉,可降低相似页面的干扰,提高页码识别的准确率。
优选地,还包括:
数据获取模块150,用于获取用户的学习数据;
具体地,用户在使用家教机上的其他应用软件时,会在家教机上留下运行数据,通过获取用户在家教机上运行各类学习软件的运行数据,即可得到用户的学习数据。例如,用户在家教机上观看学习视频的记录、在家教机上进行习题练习时的记录、在家教机上进行测验的记录数据等。
此外,还可通过获取学生所在学校的服务器上记录的学生数据来获取用户的学习数据。学校的服务器上一般记录有学生的姓名、年龄、性别、年级、班级、考试成绩、教学进度等信息。
家教机可间隔一段时间获取一次用户的学习数据,以便定期根据新获取的学习数据更新用户的学习画像。
数据清洗模块160,用于对所述用户的学习数据进行数据清洗;
具体地,获取用户的学习数据后,先对学习数据进行清洗,过滤一些不能反映用户学习状况的数据,比如,用户在APP上发布的与学习无关的留言、日志等。数据清洗可采用预先设置好的清洗规则对学习数据进行清洗。
信息获取模块170,用于从清洗后的学习数据中获取所述用户的基本信息和各学科的掌握信息;
具体地,对学习数据进行清洗后,对每条学习数据进行分析,从学习数据中获取用户的基本信息和各学科的掌握信息。用户的基本信息可包括用户的年龄、性别、年级信息等。各学科的掌握信息包括各学科中各个知识点或各题型的掌握情况,以及学习进度信息等。
学校的服务器上存储有全校学生的姓名、年龄、性别、教学进度、考试成绩等,且学校的服务器上存储的数据是真实且准确的,因此,用户的基本信息可直接通过学校的服务器上存储的数据得到。
用户对各个学科的掌握信息需要根据用户的考试成绩、在学习软件上的学习信息以及在学习软件上的测验信息综合分析得到。各个学科的掌握信息可根据各个学科的特点分为知识点的掌握情况或题型的掌握情况。
例如,对于语文科目,可分为填词、阅读理解和作文等题型,通过分析每次考试、测验或习题练习中各种题型的得分情况可获知用户对各种题型的掌握情况。对于数学科目,可分为各个知识点,如一元一次方程、因式分解等。通过分析用户在每次考试、测验或习题练习中对于各个知识点的得分情况来获知用户对各个知识点的掌握情况。在实际应用中,可设置考试、测验和习题练习的权重,通过设置的权重来综合分析用户对各学科的掌握情况。
根据用户对各学科的掌握情况还可分析得到用户的学习兴趣,如成绩较好的科目一般为用户比较擅长且比较喜爱的科目,成绩较差的科目一般用户不擅长且不太喜欢的科目。
用户的学习进度信息可根据老师的教学进度信息以及用户在家教机上的学习数据分析得到。
生成模块180,用于根据所述基本信息和所述各学科的掌握信息,生成所述用户的学习画像。
具体地,得到用户的基本信息和各学科的掌握信息后,即可生成用户的学习画像。生成的学习画像中包含了学生的年龄信息、性别信息、年级信息、学习兴趣、学习进度、学习成绩、知识点掌握情况等。学习画像可间隔一段时间更新一次,使生成的学习画像可更准确地反应用户当前的学习状况,以便更根据用户的学习画像更准确地筛选出目标存储页面。
优选地,筛选模块130包括:
属性获取单元131,用于当所述存储页面为多个时,获取所述存储页面对应的属性信息;
具体地,当在数据库中查找到的存储页面有多个时,获取所述存储页面预先标记的属性信息。书本在存入数据库中时,可标注书本中每个页面的属性信息,属性信息可包括页面所属书本的科目信息、年级信息、类型信息以及包含的知识点信息等。
信息获取单元132,用于根据所述属性信息,在预先生成的所述用户的学习画像中得到所述用户的学习信息,所述学习信息包括年级信息、学习进度信息、学习爱好信息和知识点掌握信息中的一种或多种;
具体地,得到每个存储页面的属性信息后,再根据存储页面的属性信息,在用户的学习画像中得到用户的学习信息,如用户的年级信息、学习进度信息、学习爱好信息和知识点掌握信息等。
示例性的,若属性信息为年级信息,则在用户的学习画像中获取用户的年级信息;若属性信息为包含的知识点信息,则在用户的学习画像中获取用户的学习进度信息;若属性信息既包括年级信息又包括知识点信息,则在用户的学习画像中获取用户的年级信息和用户的学习进度信息。
筛选单元133,用于根据所述用户的学习信息和所述属性信息,在所述存储页面中筛选出目标存储页面。
具体地,得到存储页面的属性信息和用户的学习信息后,将存储页面的属性信息与得到的用户的学习信息进行比对,将属性信息与用户的学习信息不匹配的存储页面剔除掉,将属性信息与用户的学习信息匹配的存储页面作为目标存储页面。
例如,一个存储页面包含的知识点为二元一次方程,一个存储页面包含的知识点为一元一次方程,而从用户的学习画像中获知用户的学习进度为一元一次方程,则将知识点为二元一次方程对应的存储页面剔除掉,将知识点为一元一次方程对应的存储页面作为目标存储页面。
优选地,图像获取模块110,还用于获取用户阅读的书本的封面图像和背面图像;
查找模块120,还用于根据所述封面图像和所述背面图像,在数据库中查找所述书本对应的电子书本;
查找模块120,还用于在所述电子书本中查找与所述当前页面图像匹配的存储页面。
具体地,在将书本存入数据库中时,可以将一个书本的所有页面存储为一个电子书本,即一个书本对应一个电子书本。
在用户阅读某一书本时,可先获取该书本的封面图像和背面图像,然后根据该书本的封面图像和背面图像在数据库中查找到与该书本对应的电子书本。具体来说,用户在开始阅读之前,先通过摄像等方式采集书本的封面图像和背面图像,进行预处理操作(如滤波、透视变换等)之后,根据封面图像获取书本的名称、根据背面图像中的条形码,获取书本的版本号,获取到书名和版本号后,可根据书名和版本号在数据库中查找到该书本对应的电子书本。由于在实际使用过程中,书本会出现改版问题,导致出现封面相同但书本的内容出现少量更改的情况,因此,除了获取书本名称,还通过背面图像获取书本的版本号,更精确的确定对应版本的电子书本,以便提高页码识别的准确率。
当获取到该书本中的某一待识别页面图像时,可根据该待识别页面图像在该电子书本中查找匹配的存储页面。先根据封面图像和背面图像查找到对应的电子书本,然后在电子书本中查找匹配的存储页面,可减少其他电子书本中的页面的干扰,提高搜索效率和搜索准确率。
图6是本发明一个实施例中提供的家教机的结构示意图,如图6所示,该家教机200包括:存储器210、处理器220以及存储在存储器210中并可在处理器220上运行的计算机程序211,例如:书本页码的识别程序。处理器220执行计算机程序211时实现上述各个书本页码的识别方法实施例中的步骤,或者,处理器220执行计算机程序211时实现上述各书本页码的识别装置实施例中各模块的功能。
家教机200包括但不仅限于处理器220、存储器210。本领域技术人员可以理解,图6仅仅是家教机200的示例,并不构成对家教机200的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如:家教机200还可以包括输入输出设备、显示设备、网络接入设备、总线等。
处理器220可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器220可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器210可以是家教机200的内部存储单元,例如:家教机200的硬盘或内存。存储器210也可以是家教机200的外部存储设备,例如:家教机200上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器210还可以既包括家教机200的内部存储单元也包括外部存储设备。存储器210用于存储计算机程序211以及家教机200所需要的其他程序和数据。存储器210还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述或记载的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/家教机和方法,可以通过其他的方式实现。例如,以上所描述的装置/家教机实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性、机械或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可能集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明实施方式还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例的书本页码的识别方法。
本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序211发送指令给相关的硬件完成,计算机程序211可存储于一计算机可读存储介质中,该计算机程序211在被处理器220执行时,可实现上述各个方法实施例的步骤。其中,计算机程序211包括:计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序211代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如:在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种书本页码的识别方法,其特征在于,包括:
获取用户阅读的当前页面图像;
在数据库中查找与所述当前页面图像匹配的存储页面;
当所述存储页面为多个时,根据预先生成的所述用户的学习画像在所述存储页面中筛选出目标存储页面;
根据所述目标存储页面识别所述当前页面图像对应的页码。
2.根据权利要求1所述的一种书本页码的识别方法,其特征在于,所述获取用户阅读的当前页面图像之前还包括:
获取用户的学习数据;
对所述用户的学习数据进行数据清洗;
从清洗后的学习数据中获取所述用户的基本信息和各学科的掌握信息;
根据所述基本信息和所述各学科的掌握信息,生成所述用户的学习画像。
3.根据权利要求1或2所述的一种书本页码的识别方法,其特征在于,所述当所述存储页面为多个时,根据预先生成的所述用户的学习画像在所述存储页面中筛选出目标存储页面具体包括:
当所述存储页面为多个时,获取所述存储页面对应的属性信息;
根据所述属性信息,在预先生成的所述用户的学习画像中得到所述用户的学习信息,所述学习信息包括年级信息、学习进度信息、学习爱好信息和知识点掌握信息中的一种或多种;
根据所述用户的学习信息和所述属性信息,在所述存储页面中筛选出目标存储页面。
4.根据权利要求1或2所述的一种书本页码的识别方法,其特征在于,所述获取用户阅读的当前页面图像之前还包括:
获取用户阅读的书本的封面图像和背面图像;
根据所述封面图像和所述背面图像,在数据库中查找所述书本对应的电子书本;
所述在数据库中查找与所述当前页面图像匹配的存储页面具体包括:
在所述电子书本中查找与所述当前页面图像匹配的存储页面。
5.一种书本页码的识别装置,其特征在于,包括:
图像获取模块,用于获取用户阅读的当前页面图像;
查找模块,用于在数据库中查找与所述当前页面图像匹配的存储页面;
筛选模块,用于当所述存储页面为多个时,根据预先生成的所述用户的学习画像在所述存储页面中筛选出目标存储页面;
识别模块,用于根据所述目标存储页面识别所述当前页面图像对应的页码。
6.根据权利要求5所述的一种书本页码的识别装置,其特征在于,还包括:
数据获取模块,用于获取用户的学习数据;
数据清洗模块,用于对所述用户的学习数据进行数据清洗;
信息获取模块,用于从清洗后的学习数据中获取所述用户的基本信息和各学科的掌握信息;
生成模块,用于根据所述基本信息和所述各学科的掌握信息,生成所述用户的学习画像。
7.根据权利要求5或6所述的一种书本页码的识别装置,其特征在于,所述筛选模块包括:
属性获取单元,用于当所述存储页面为多个时,获取所述存储页面对应的属性信息;
信息获取单元,用于根据所述属性信息,在预先生成的所述用户的学习画像中得到所述用户的学习信息,所述学习信息包括年级信息、学习进度信息、学习爱好信息和知识点掌握信息中的一种或多种;
筛选单元,用于根据所述用户的学习信息和所述属性信息,在所述存储页面中筛选出目标存储页面。
8.根据权利要求5或6所述的一种书本页码的识别装置,其特征在于,
所述图像获取模块,还用于获取用户阅读的书本的封面图像和背面图像;
所述查找模块,还用于根据所述封面图像和所述背面图像,在数据库中查找所述书本对应的电子书本;
所述查找模块,还用于在所述电子书本中查找与所述当前页面图像匹配的存储页面。
9.一种家教机,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时实现如权利要求1-4中任一项所述的书本页码的识别方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的书本页码的识别方法的步骤。
CN201910886970.9A 2019-09-19 2019-09-19 一种书本页码的识别方法、装置、家教机及存储介质 Pending CN110609833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910886970.9A CN110609833A (zh) 2019-09-19 2019-09-19 一种书本页码的识别方法、装置、家教机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910886970.9A CN110609833A (zh) 2019-09-19 2019-09-19 一种书本页码的识别方法、装置、家教机及存储介质

Publications (1)

Publication Number Publication Date
CN110609833A true CN110609833A (zh) 2019-12-24

Family

ID=68892933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910886970.9A Pending CN110609833A (zh) 2019-09-19 2019-09-19 一种书本页码的识别方法、装置、家教机及存储介质

Country Status (1)

Country Link
CN (1) CN110609833A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723855A (zh) * 2020-06-09 2020-09-29 广东小天才科技有限公司 一种学习知识点的显示方法、终端设备及存储介质
CN111724638A (zh) * 2020-06-01 2020-09-29 广东小天才科技有限公司 一种ar交互学习方法及电子设备
CN113449720A (zh) * 2021-06-30 2021-09-28 东莞市小精灵教育软件有限公司 一种准确定位课本页码的方法
CN116563864A (zh) * 2023-07-07 2023-08-08 深圳创维智慧科技有限公司 页码识别方法、装置、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216956A (zh) * 2014-08-20 2014-12-17 北京奇艺世纪科技有限公司 一种图片信息的搜索方法和装置
CN105843858A (zh) * 2016-03-17 2016-08-10 广东小天才科技有限公司 一种学习资源的推送方法及装置
CN108829764A (zh) * 2018-05-28 2018-11-16 腾讯科技(深圳)有限公司 推荐信息获取方法、装置、系统、服务器及存储介质
CN109492644A (zh) * 2018-10-16 2019-03-19 深圳壹账通智能科技有限公司 一种习题图像的匹配识别方法及终端设备
KR20190047214A (ko) * 2017-10-27 2019-05-08 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
CN110060524A (zh) * 2019-04-30 2019-07-26 广东小天才科技有限公司 一种机器人辅助阅读的方法及阅读机器人
CN110119733A (zh) * 2019-05-15 2019-08-13 广东小天才科技有限公司 书页识别方法及装置、终端设备、计算机可读存储介质
CN110221747A (zh) * 2019-05-21 2019-09-10 掌阅科技股份有限公司 电子书阅读页面的呈现方法、计算设备及计算机存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216956A (zh) * 2014-08-20 2014-12-17 北京奇艺世纪科技有限公司 一种图片信息的搜索方法和装置
CN105843858A (zh) * 2016-03-17 2016-08-10 广东小天才科技有限公司 一种学习资源的推送方法及装置
KR20190047214A (ko) * 2017-10-27 2019-05-08 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
CN108829764A (zh) * 2018-05-28 2018-11-16 腾讯科技(深圳)有限公司 推荐信息获取方法、装置、系统、服务器及存储介质
CN109492644A (zh) * 2018-10-16 2019-03-19 深圳壹账通智能科技有限公司 一种习题图像的匹配识别方法及终端设备
CN110060524A (zh) * 2019-04-30 2019-07-26 广东小天才科技有限公司 一种机器人辅助阅读的方法及阅读机器人
CN110119733A (zh) * 2019-05-15 2019-08-13 广东小天才科技有限公司 书页识别方法及装置、终端设备、计算机可读存储介质
CN110221747A (zh) * 2019-05-21 2019-09-10 掌阅科技股份有限公司 电子书阅读页面的呈现方法、计算设备及计算机存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724638A (zh) * 2020-06-01 2020-09-29 广东小天才科技有限公司 一种ar交互学习方法及电子设备
CN111723855A (zh) * 2020-06-09 2020-09-29 广东小天才科技有限公司 一种学习知识点的显示方法、终端设备及存储介质
CN113449720A (zh) * 2021-06-30 2021-09-28 东莞市小精灵教育软件有限公司 一种准确定位课本页码的方法
CN116563864A (zh) * 2023-07-07 2023-08-08 深圳创维智慧科技有限公司 页码识别方法、装置、电子设备及可读存储介质
CN116563864B (zh) * 2023-07-07 2023-10-24 深圳创维智慧科技有限公司 页码识别方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
US11508251B2 (en) Method and system for intelligent identification and correction of questions
CN110609833A (zh) 一种书本页码的识别方法、装置、家教机及存储介质
CN107240047B (zh) 一种教学视频的学分评估方法和装置
Burston et al. MALL language learning outcomes: A comprehensive meta-analysis 1994–2019
CN109817046B (zh) 一种基于家教设备的学习辅助方法及家教设备
CN109460488B (zh) 一种辅助教学方法及系统
CN107978189B (zh) 一种习题的智能推送方法、系统及终端设备
CN110909035A (zh) 个性化复习题集生成方法、装置、电子设备及存储介质
CN110443427A (zh) 基于认知知识谱的成绩预测方法及其系统
CN112002164A (zh) 作业辅导方法及装置、智能台灯、计算机可读存储介质
CN110647648B (zh) 纸质书本的页码识别方法、装置、家教机及存储介质
CN111524578A (zh) 一种基于电子心理沙盘的心理评估装置、方法及系统
CN109785691B (zh) 一种通过终端辅助学习的方法和系统
CN109710931A (zh) 一种基于智能分析技术的课堂教学内容评价系统及其方法
CN111144079A (zh) 一种智能获取学习资源的方法、装置、打印机和存储介质
CN110223202A (zh) 一种教学道具识别与评分的方法及系统
CN115050039A (zh) 自动化试卷分析方法、系统、电子设备、存储介质
CN111597305A (zh) 实体标记方法、装置、计算机设备和存储介质
CN110889406A (zh) 一种习题数据卡的信息采集方法、系统及终端
CN110598217B (zh) 一种点读内容的识别方法、装置、家教机及存储介质
CN108733784B (zh) 一种教学课件推荐方法、装置及设备
CN111027533A (zh) 一种点读坐标的变换方法、系统、终端设备及存储介质
CN114547467A (zh) 搜题方法、装置、终端设备及可读存储介质
CN114490929A (zh) 一种招投标信息采集方法、装置、存储介质及终端设备
CN112164262A (zh) 一种智能阅卷辅导系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191224