CN113821712A - 一种扫描搜题的方法、智能扫描笔及存储介质 - Google Patents
一种扫描搜题的方法、智能扫描笔及存储介质 Download PDFInfo
- Publication number
- CN113821712A CN113821712A CN202111123325.5A CN202111123325A CN113821712A CN 113821712 A CN113821712 A CN 113821712A CN 202111123325 A CN202111123325 A CN 202111123325A CN 113821712 A CN113821712 A CN 113821712A
- Authority
- CN
- China
- Prior art keywords
- scanning
- questions
- picture
- search
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012360 testing method Methods 0.000 claims abstract description 170
- 239000013598 vector Substances 0.000 claims abstract description 83
- 230000008569 process Effects 0.000 claims abstract description 36
- 230000009471 action Effects 0.000 claims description 26
- 238000012163 sequencing technique Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 30
- 239000013589 supplement Substances 0.000 description 9
- 230000001413 cellular effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9532—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Library & Information Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种扫描搜题的方法、智能扫描笔及存储介质，所述扫描搜题的方法包括：获取扫描试题过程中的扫描图片；提取用于描述扫描图片的图像特征的特征向量；根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果。本发明通过提取用于描述扫描图片的图像特征的特征向量，根据提取的特征向量在试题数据库中进行检索匹配实现扫描搜题，特征向量包括多个分别描述图片的不同图像特征，将各个特征向量分别在试题数据库中进行检索匹配，综合各个特征向量的检索匹配结果反馈搜题结果，实现了从多个维度对扫描图片进行全方位检索，提升了试题检索的效率和准确率；而且对于试题扫描的连续性要求也有所降低，提升了用户的扫描搜题体验。
Description
技术领域
本发明涉及在线教育技术领域，具体的涉及一种扫描搜题的方法、智能扫描笔及存储介质。
背景技术
在线教育，通过互联网平台可以将优质教育资源进行共享，极大的方便用户使用，降低教育成本。拍照搜题—一种应用较为普遍的在线教育方式，用户可以通过智能设备(如手机)进行试题拍照上传，云服务器会根据上传的试题照片进行解析、提取以及试题数据库检索等流程获取相关的试题搜索结果，返回给用户，可极大的方便用户对于疑难试题的理解跟掌握。
相对于拍照搜题而言，借助于智能扫描笔实现的扫描搜题，由于无法将整个试题通过拍照的方式获取试题图片，只能通过智能扫描笔的扫描摄像头逐行扫描完成后获取整个试题，再进行试题的上传与搜索。这使得用户在扫描试题的操作过程中需要保持连贯性，且如果出现漏扫、重扫的情况，对于试题的搜索结果都会产生影响，导致试题搜索结果差距较大。这主要是因为现有的扫描搜题主要依靠针对扫描图片进行OCR处理识别得到图片字符，根据字符进行试题检索，因此，扫描图片的完整性以及准确性对于试题搜索的结果产生较大的影响。
因此，如何降低用户扫描搜题的操作难度，提升扫描搜题的准确率，从而提升用户的使用体验是本发明所要解决的技术问题。
有鉴于此，特提出本发明。
发明内容
本发明为了解决如何降低用户扫描搜题的操作难度，提升扫描搜题的准确率，提升用户的使用体验的技术问题，提供一种扫描搜题的方法、智能扫描笔及存储介质，具体技术方案如下：
本发明提出了一种扫描搜题的方法，包括：
获取扫描试题过程中的扫描图片；
提取用于描述扫描图片的图像特征的特征向量；
根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果。
作为本发明的可选实施方式，所述提取用于描述扫描图片的图像特征的特征向量包括：
通过深度学习模型提取出扫描图片的一组特征向量；
所述的特征向量用于描述扫描图片的文字、图像、符号的结构化信息。
作为本发明的可选实施方式，所述根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果包括：
根据提取的各特征向量的文字、图像、符号的结构化信息的分别与试题数据库中存储的试题的文字、图像、符号的结构化信息分别进行检索匹配；
针对检索匹配结果进行文字、图像、符号的结构化信息进行排序加权得到试题搜索结果。
作为本发明的可选实施方式，针对理科试题，符号的结构化信息加权值大于文字、图像的结构化信息加权值；
针对文科试题，文字的结构化信息加权值大于图像、符号的结构化信息加权值；
针对图形试题，图像的结构化信息加权值大于文字、符号的结构化信息加权值；
可选地，通过扫描过程中提取扫描图片的图像特征判断试题所属科目，或者通过扫描开始前接收用户的试题科目设置指令判断试题所属科目。
作为本发明的可选实施方式，所述根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果还包括：
针对试题搜索结果综合搜索热度和/或用户历史搜索记录进行排序加权运算，反馈搜题结果。
作为本发明的可选实施方式，所述针对试题搜索结果综合搜索热度进行排序加权运算包括：
针对试题搜索结果利用大数据找出热门题目，然后针对热门题目在排序中进行加权运算；
所述针对试题搜索结果综合用户历史搜索记录进行排序加权运算包括：
针对试题搜索结果根据用户历史搜索记录中的年级、和/或学科偏好在排序中进行加权运算。
作为本发明的可选实施方式，所述获取扫描试题过程中的扫描图片包括：
实时获取扫描试题过程中的扫描图片；
针对扫描图片进行实时处理提取特征向量，根据提取的特征向量在试题数据库中进行实时检索匹配；
当特征向量的匹配相似度达到设定值，反馈搜题结果。
作为本发明的可选实施方式，所述获取扫描试题过程中的扫描图片包括：
获取试题扫描过程中的扫描动作和/或扫描图片的长度，所述的扫描动作包括扫描开和扫描关，一次扫描动作包括一次扫描开和一次扫描关；
当一次扫描动作的扫描图片的长度达到长度阈值，则获取该次扫描动作的扫描图片并与上一次扫描动作的扫描图片进行拼接得到拼接图片；
针对拼接图片进行处理提取特征向量，根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果。
本发明同时提供了一种智能扫描笔，包括扫描模块和控制模块：
控制模块获取扫描模块扫描试题过程中的扫描图片；
控制模块提取用于描述扫描图片的图像特征的特征向量；
控制模块根据提取的特征向量上传至服务器，服务器在试题数据库中进行检索匹配，反馈搜题结果。
本发明还提供了一种存储介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现所述的一种扫描搜题的方法。
与现有技术相比，本发明的有益效果：
本发明的扫描搜题的方法通过提取用于描述扫描图片的图像特征的特征向量，根据提取的特征向量在试题数据库中进行检索匹配实现扫描搜题，特征向量包括多个分别描述图片的不同图像特征，将各个特征向量分别在试题数据库中进行检索匹配，综合各个特征向量的检索匹配结果反馈搜题结果，实现了从多个维度对扫描图片进行全方位检索，相对于单一依赖于OCR识别图片字符进行字符匹配的方式极大的提升了试题检索的效率和准确率。
另外，由于本发明的扫描搜题的方法综合考虑扫描图片的信息、结构及符号等图像特征，因此，用户在扫描试题时无需将整个试题全部扫描完成再进行搜题检索，也能得到极高的试题检索准确率；而且对于试题扫描的连续性要求也有所降低，极大的降低了用户的搜题操作要求，提升了用户的扫描搜题体验。
附图说明：
图1本发明实施例的扫描搜题的方法的整体处理流程图；
图2本发明实施例的扫描搜题的方法的流程框图一；
图3本发明实施例的扫描搜题的方法的流程框图二；
图4本发明实施例的扫描搜题的方法的流程框图三；
图5本发明实施例的智能扫描笔的整机硬件框图；
图6本发明实施例的智能扫描笔的结构示意图。
附图中的标号说明：1-主核CPU 2-电池供电和通信接口模块3-eSIM卡4-LTE、WIFI/BT射频模块5-EMCP存储器模块6-触控显示模块7-音频MIC和喇叭模块8-补光控制模块9-按键模块10-六轴传感器11-摄像头模块12-第一摄像头13-第二摄像头14-音频开关15-电源芯片16-通信接口17-电池18-WiFi/BT模块19-通讯天线20-天线芯片21-音频MIC22-喇叭23-控制开关24-补光灯25-笔体26-笔头。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。
因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的部分实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征和技术方案可以相互组合。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，这类术语仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
参见图1所示，本实施例提供一种扫描搜题的方法，包括：
获取扫描试题过程中的扫描图片；
提取用于描述扫描图片的图像特征的特征向量；
根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果。
本实施例的扫描搜题的方法通过提取用于描述扫描图片的图像特征的特征向量，根据提取的特征向量在试题数据库中进行检索匹配实现扫描搜题，特征向量包括多个分别描述图片的不同图像特征，将各个特征向量分别在试题数据库中进行检索匹配，综合各个特征向量的检索匹配结果反馈搜题结果，实现了从多个维度对扫描图片进行全方位检索，相对于单一依赖于OCR识别图片字符进行字符匹配的方式极大的提升了试题检索的效率和准确率。
另外，由于本实施例的扫描搜题的方法综合考虑扫描图片的信息、结构及符号等图像特征，因此，用户在扫描试题时无需将整个试题全部扫描完成再进行搜题检索，也能得到极高的试题检索准确率；而且对于试题扫描的连续性要求也有所降低，极大的降低了用户的搜题操作要求，提升了用户的扫描搜题体验。
参见图2所示，作为本实施例的可选实施方式，所述提取用于描述扫描图片的图像特征的特征向量包括：
通过深度学习模型提取出扫描图片的一组特征向量；
所述的特征向量用于描述扫描图片的文字、图像、符号的结构化信息。
图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质；纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质；形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征，图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域；空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。本实施例提取用于描述扫描图片的图像特征主要包括纹理特征、区域形状特征和空间关系特征。
本实施例的深度学习模型通过根据输入图片和输出图片进行训练得到，深度学习模型将扫描图片中的各个特征向量提出出来，通过图片的文字的结构化信息的特征向量进行语义相关性匹配，图片的图像、符号的架构化信息的特征向量进行相似度匹配。
进一步地，参见图2所示，所述根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果包括：
根据提取的各特征向量的文字、图像、符号的结构化信息的分别与试题数据库中存储的试题的文字、图像、符号的结构化信息分别进行检索匹配；
针对检索匹配结果进行文字、图像、符号的结构化信息进行排序加权得到试题搜索结果。
本实施例的扫描搜题的方法根据各特征向量的文字、图像、符号的结构化信息与试题数据库进行匹配，可以极大的提高检索的速率及准确性。同时，又针对检索匹配结果进行文字、图像、符号的结构化信息进行排序加权运算，可以针对不同的题型进行排序加权运算，进一步提升搜题的准确性。
具体地，针对理科试题，符号的结构化信息加权值大于文字、图像的结构化信息加权值。本实施例的理科试题包括有数学、化学、物理，具体地，可针对数学试题的数学符号，针对化学的化学符号以及针对物理的物理符号设定加权运算的加权值。
针对文科试题，文字的结构化信息加权值大于图像、符号的结构化信息加权值；本实施例的文科试题包括语文、英语、历史、政治等。
针对图形试题，图像的结构化信息加权值大于文字、符号的结构化信息加权值；本实施例的图形试题包括幼儿认知图形试题等。
可选地，通过扫描过程中提取扫描图片的图像特征判断试题所属科目，即可通过提取的扫描图片的特征向量判断是否含有数学符号、化学符号或者物理符号，判断其属于数学、化学或者物理。
或者通过扫描开始前接收用户的试题科目设置指令判断试题所属科目，用户在扫描试题之前需要先设定试题所属的科目，具体可通过按键或者滚轮在内置学科目录进行切换选择。
作为本实施例的可选实施方式，参见图2所示，本实施例的一种扫描搜题的方法中所述根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果还包括：
针对试题搜索结果综合搜索热度和/或用户历史搜索记录进行排序加权运算，反馈搜题结果。
本实施例的扫描搜题的方法中搜题过程中还综合搜索热度和/或用户历史搜索记录进行排序加权运算，搜索热度高的试题具有更高的加权值，排序更靠前；而用户的历史搜索行为有助于对用户进行初步定位，从而将更加适合用户当前阶段的试题排序靠前展示，从而提升了扫描搜题的准确率。
具体地，本实施例所述针对试题搜索结果综合搜索热度进行排序加权运算包括：
针对试题搜索结果利用大数据找出热门题目，然后针对热门题目在排序中进行加权运算。
本实施例所述针对试题搜索结果综合用户历史搜索记录进行排序加权运算包括：
针对试题搜索结果根据用户历史搜索记录中的年级、和/或学科偏好在排序中进行加权运算。
作为本实施例的可选实施方式，参见图3所示，本实施例的扫描搜题的方法中所述获取扫描试题过程中的扫描图片包括：
实时获取扫描试题过程中的扫描图片；
针对扫描图片进行实时处理提取特征向量，根据提取的特征向量在试题数据库中进行实时检索匹配；
当特征向量的匹配相似度达到设定值，反馈搜题结果。
作为本实施例的可选实施方式，参见图4所示，本实施例的扫描搜题的方法中所述获取扫描试题过程中的扫描图片包括：
获取试题扫描过程中的扫描动作和/或扫描图片的长度，所述的扫描动作包括扫描开和扫描关，一次扫描动作包括一次扫描开和一次扫描关；
当一次扫描动作的扫描图片的长度达到长度阈值，则获取该次扫描动作的扫描图片并与上一次扫描动作的扫描图片进行拼接得到拼接图片；
针对拼接图片进行处理提取特征向量，根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果。
在一次扫描动作的过程中，若扫描图片的长度低于长度最小阈值，则舍弃当次扫描的图片，并提示当次扫描动作无效，请重新扫描；只有扫描图片的长度达到长度阈值才会被保存拼接。
本实施例的扫描搜题的方法实现了在扫描试题的过程中进行实时搜题，用户可以根据实时的搜题结果选择是否继续进行扫描，若扫描的过程中搜索到了对应的试题即可选择停止扫描，提高了扫描搜题的效率。
本实施例同时提供一种智能扫描笔，包括扫描模块和控制模块：
控制模块获取扫描模块扫描试题过程中的扫描图片；
控制模块提取用于描述扫描图片的图像特征的特征向量；
控制模块根据提取的特征向量上传至服务器，服务器在试题数据库中进行检索匹配，反馈搜题结果。
本实施例的智能扫描笔通过提取用于描述扫描图片的图像特征的特征向量，根据提取的特征向量在试题数据库中进行检索匹配实现扫描搜题，特征向量包括多个分别描述图片的不同图像特征，将各个特征向量分别在试题数据库中进行检索匹配，综合各个特征向量的检索匹配结果反馈搜题结果，实现了从多个维度对扫描图片进行全方位检索，相对于单一依赖于OCR识别图片字符进行字符匹配的方式极大的提升了试题检索的效率和准确率。
另外，由于本实施例的智能扫描笔综合考虑扫描图片的信息、结构及符号等图像特征，因此，用户在扫描试题时无需将整个试题全部扫描完成再进行搜题检索，也能得到极高的试题检索准确率；而且对于试题扫描的连续性要求也有所降低，极大的降低了用户的搜题操作要求，提升了用户的扫描搜题体验。
作为本实施例的可选实施方式，所述控制模块包括：
图片特征提取单元，通过深度学习模型提取出扫描图片的一组特征向量；所述的特征向量用于描述扫描图片的文字、图像、符号的结构化信息。
图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质；纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质；形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征，图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域；空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。本实施例提取用于描述扫描图片的图像特征主要包括纹理特征、区域形状特征和空间关系特征。
本实施例的深度学习模型通过根据输入图片和输出图片进行训练得到，深度学习模型将扫描图片中的各个特征向量提出出来，通过图片的文字的结构化信息的特征向量进行语义相关性匹配，图片的图像、符号的架构化信息的特征向量进行相似度匹配。
进一步地，服务器根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果包括：
服务器根据提取的各特征向量的文字、图像、符号的结构化信息的分别与试题数据库中存储的试题的文字、图像、符号的结构化信息分别进行检索匹配；
针对检索匹配结果进行文字、图像、符号的结构化信息进行排序加权得到试题搜索结果。
本实施例的服务器根据各特征向量的文字、图像、符号的结构化信息与试题数据库进行匹配，可以极大的提高检索的速率及准确性。同时，又针对检索匹配结果进行文字、图像、符号的结构化信息进行排序加权运算，可以针对不同的题型进行排序加权运算，进一步提升搜题的准确性。
具体地，针对理科试题，符号的结构化信息加权值大于文字、图像的结构化信息加权值。本实施例的理科试题包括有数学、化学、物理，具体地，可针对数学试题的数学符号，针对化学的化学符号以及针对物理的物理符号设定加权运算的加权值。
针对文科试题，文字的结构化信息加权值大于图像、符号的结构化信息加权值；本实施例的文科试题包括语文、英语、历史、政治等。
针对图形试题，图像的结构化信息加权值大于文字、符号的结构化信息加权值；本实施例的图形试题包括幼儿认知图形试题等。
可选地，服务器通过扫描过程中提取扫描图片的图像特征判断试题所属科目，即可通过提取的扫描图片的特征向量判断是否含有数学符号、化学符号或者物理符号，判断其属于数学、化学或者物理。
或者服务器通过扫描开始前接收用户的试题科目设置指令判断试题所属科目，用户在扫描试题之前需要先设定试题所属的科目，具体可通过按键或者滚轮在内置学科目录进行切换选择。
作为本实施例的可选实施方式，本实施例的服务器根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果还包括：
针对试题搜索结果综合搜索热度和/或用户历史搜索记录进行排序加权运算，反馈搜题结果。
本实施例智能扫描笔搜题过程中还综合搜索热度和/或用户历史搜索记录进行排序加权运算，搜索热度高的试题具有更高的加权值，排序更靠前；而用户的历史搜索行为有助于对用户进行初步定位，从而将更加适合用户当前阶段的试题排序靠前展示，从而提升了扫描搜题的准确率。
具体地，本实施例所述针对试题搜索结果综合搜索热度进行排序加权运算包括：
针对试题搜索结果利用大数据找出热门题目，然后针对热门题目在排序中进行加权运算。
本实施例所述针对试题搜索结果综合用户历史搜索记录进行排序加权运算包括：
针对试题搜索结果根据用户历史搜索记录中的年级、和/或学科偏好在排序中进行加权运算。
作为本实施例的可选实施方式，本实施例的智能扫描笔获取扫描试题过程中的扫描图片包括：
实时获取扫描试题过程中的扫描图片；
针对扫描图片进行实时处理提取特征向量，根据提取的特征向量在试题数据库中进行实时检索匹配；
当特征向量的匹配相似度达到设定值，反馈搜题结果。
作为本实施例的可选实施方式，本实施例的智能扫描笔获取扫描试题过程中的扫描图片包括：
获取试题扫描过程中的扫描动作和/或扫描图片的长度，所述的扫描动作包括扫描开和扫描关，一次扫描动作包括一次扫描开和一次扫描关；
当一次扫描动作的扫描图片的长度达到长度阈值，则获取该次扫描动作的扫描图片并与上一次扫描动作的扫描图片进行拼接得到拼接图片；
针对拼接图片进行处理提取特征向量，根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果。
本实施例的智能扫描笔实现了在扫描试题的过程中进行实时搜题，用户可以根据实时的搜题结果选择是否继续进行扫描，若扫描的过程中搜索到了对应的试题即可选择停止扫描，提高了扫描搜题的效率。
作为本实施例的可选实施方式，参见图5及图6所示，本实施例的智能扫描笔，包括：
笔体25；
主核CPU1，设置在笔体25内；
及摄像头模块11，包括第一摄像头12和第二摄像头13，所述的第一摄像头12和第二摄像头13分别设置在笔体25的不同位置，且至少一个摄像头设置在笔体25的笔头26位置处，所述的第一摄像头12和第二摄像头13分别与主核CPU1通讯连接。
本实施例的智能扫描笔的主核CPU1是整机的控制中心，用来收发、处理外设接口的数据。本实施例的智能扫描笔包括第一摄像头12和第二摄像头13，可应用于不同场景下的图像采集需求，实现扫描、拍照等功能，丰富了智能笔的使用场景，提高了用户的使用体验。
作为本实施例的可选实施方式，本实施例所述的第一摄像头12为用于扫描搜索的扫搜摄像头，所述的扫描摄像头设置在笔体25的笔头26位置处。
本实施例的第一摄像头12为扫搜摄像头，扫搜摄像头可以扫描待翻译的文字或者待解析的作业题等，扫描后，通过MIPI接口将图片传输给CPU。
进一步地，本实施例所述的第二摄像头13为用于拍照搜索的拍搜摄像头，所述的拍搜摄像头设置在笔体25的笔身上部的侧壁上。
本实施例的第二摄像头13为拍搜摄像头，可以拍照待解析的作业题，通过MIPI接口将图片传输给CPU。
因此，本实施例的智能扫描笔包括扫搜摄像头和拍搜摄像头，为分别单独实现扫描搜索和拍照搜索提供了硬件基础，可以实现词典翻译、扫题、拍题的多种学习功能，极大的满足了用户的学习需求，提升了用户的使用体验，具有较高的产品性价比。
作为本实施例的可选实施方式，本实施例的智能扫描笔包括补光灯24和控制开关23，所述的补光灯24安装在笔头26上且靠近所述扫搜摄像头位置，所述的控制开关23安装在笔体25的笔身上，所述的控制开关23和补光灯24分别与主核CPU1通讯连接，所述控制开关23用于控制补光灯24的开闭。
本实施例的智能扫描笔的CPU通过控制开关23的开关信息，来开启和关闭补光灯24，补光灯24是用来给摄像头模块11中的扫搜摄像头补光。
本实施例的控制开关23和补光灯24共同构成补光控制模块8。
可选地，所述的控制开关23采用行程开关，行程开关可以产生行程信息，CPU通过行程信息，来开启和关闭补光灯24。所述的控制开关23也可以用压力传感器替代，但整体硬件方案相通。
作为本实施例的可选实施方式，所述的智能扫描笔包括蜂窝移动通讯模块，与所述的主核CPU通讯连接，用于接入蜂窝移动通讯网络。
本实施例的智能扫描笔包括蜂窝移动通讯模块可以实现加入通讯网络，在无WiFi的环境下，依然可以满足联网使用的需求。
进一步地，本实施例所述的蜂窝移动通讯模块包括设置在笔体25内的eSIM卡3，所述的eSIM卡3与主核CPU1通讯连接。
或者所述的蜂窝移动通讯模块包括用于安装SIM卡的SIM卡槽，所述的SIM卡槽可取出/装入的安装在笔体内，所述的SIM卡槽与主核CPU通讯连接。
本实施例的eSIM卡3或者在SIM卡槽内装入SIM卡之后可以实现接入移动/联通/电信通信，通过移动数据实现联网需求。
本实施例所述的蜂窝移动通讯模块包括通讯天线19和与通讯天线19通讯连接的天线芯片20，所述的通讯天线19伸出所述笔体25外部，所述的天线芯片20设置在笔体25内与主核CPU1通讯连接。
本实施例的通讯天线19可采用LTE天线，天线芯片20可以采用LTE收发芯片，实现现LTE的无线通信数据收发。
本实施例的智能扫描笔包括WiFi/BT模块18，与主核CPU1通讯连接，实现WIFI/BT的无线通信数据收发。
本实施例的LTE天线、LTE收发芯片及WiFi/BT模块18集成一体构成LTE、WIFI/BT射频模块4。
本实施例的智能扫描笔集成了扫搜摄像头、拍搜摄像头、LTE、WIFI/BT射频模块，可实现本地、云端等的词典翻译、扫题、拍题的多种学习功能，是目前市面上未有的智能笔产品，丰富了智能笔产品类型，极大提高了学生学习体验。
作为本实施例的可选实施方式，本实施例所述的智能扫描笔包括六轴传感器10，所述的六轴传感器10与主核CPU1通讯连接；所述六轴传感器10采集智能笔的姿态/加速度的信息，传输给主核CPU1，主核CPU1所述信息提醒用户调整笔体角度。
作为本实施例的可选实施方式，本实施例所述的智能扫描笔包括电池模块和通信接口模块16，所述的电池模块包括电池17和电源芯片15，所述的电源芯片15与主核CPU1通讯连接，所述的电池17、通信接口模块16分别与电源芯片15通讯连接；所述的电池17、电源芯片15和通信接口模块16构成充放电电路。
可选地，本实施例的通信接口模块16采用Type-C接口。
作为本实施例的可选实施方式，本实施例所述的智能扫描笔包括音频开关14，所述的音频开关14、电源芯片15和通信接口16相互通讯连接，构成USB/Audio通信电路。
本实施例的电池17、电源芯片15、通信接口模块16和音频开关14共同构成了电池供电和通信接口模块2。
作为本实施例的可选实施方式，本实施例所述的智能扫描笔包括EMCP存储器模块5，EMCP存储器模块5是由EMMC和LPDDR3组成，可实现数据的读写和存储。
作为本实施例的可选实施方式，本实施例所述的智能扫描笔包括触控显示模块6，可选用触控屏幕，屏幕用来实现内容的显示，触控用来实现屏幕的触控交互。
作为本实施例的可选实施方式，本实施例所述的智能扫描笔包括音频MIC和喇叭模块7，音频MIC21用来拾取外界用户的语音信息，喇叭22用来播放音频。
作为本实施例的可选实施方式，本实施例所述的智能扫描笔包括按键模块9，按键模块9包括电源键/锁屏键、语音/Home键、拍照键，电源键/锁屏键长按开关机、开机状态下短按为锁屏，语音/Home键长按语音、短按Home，拍照键短按进入拍照。
基于本发明设计的智能笔，内置双摄像头，既实现了词典翻译功能，也实现了作业题解析功能；并且因为内置LTE，不仅可以应用在家庭，更支持多种WIFI无法覆盖的学习使用场景。彻底解决了市面上主流学习笔功能单一、场景受限的局限性。
本实施例还提供一种存储介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现所述的一种扫描搜题的方法。
本实施例所述存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
本实施例还提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行所述的一种扫描搜题的方法。
电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。
所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。
所述存储器包括易失性存储器，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(ROM)。
应当理解，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按扭、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。
通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的系统，以及系统中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等。本发明也可以由执行本发明的方法的计算机软件来实现，例如由微处理器、电子控制单元，客户端、服务器端等执行的控制软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现。对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中，也可以分布式存储于网络上，只要其能使得电子设备执行根据本发明的方法。
以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但本发明不局限于上述具体实施方式，因此任何对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种扫描搜题的方法，其特征在于，包括：
获取扫描试题过程中的扫描图片；
提取用于描述扫描图片的图像特征的特征向量；
根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果。
2.根据权利要求1所述的一种扫描搜题的方法，其特征在于，所述提取用于描述扫描图片的图像特征的特征向量包括：
通过深度学习模型提取出扫描图片的一组特征向量；
所述的特征向量用于描述扫描图片的文字、图像、符号的结构化信息。
3.根据权利要求2所述的一种扫描搜题的方法，其特征在于，所述根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果包括：
根据提取的各特征向量的文字、图像、符号的结构化信息的分别与试题数据库中存储的试题的文字、图像、符号的结构化信息分别进行检索匹配；
针对检索匹配结果进行文字、图像、符号的结构化信息进行排序加权得到试题搜索结果。
4.根据权利要求3所述的一种扫描搜题的方法，其特征在于，针对理科试题，符号的结构化信息加权值大于文字、图像的结构化信息加权值；
针对文科试题，文字的结构化信息加权值大于图像、符号的结构化信息加权值；
针对图形试题，图像的结构化信息加权值大于文字、符号的结构化信息加权值；
可选地，通过扫描过程中提取扫描图片的图像特征判断试题所属科目，或者通过扫描开始前接收用户的试题科目设置指令判断试题所属科目。
5.根据权利要求3所述的一种扫描搜题的方法，其特征在于，所述根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果还包括：
针对试题搜索结果综合搜索热度和/或用户历史搜索记录进行排序加权运算，反馈搜题结果。
6.根据权利要求5所述的一种扫描搜题的方法，其特征在于，所述针对试题搜索结果综合搜索热度进行排序加权运算包括：
针对试题搜索结果利用大数据找出热门题目，然后针对热门题目在排序中进行加权运算；
所述针对试题搜索结果综合用户历史搜索记录进行排序加权运算包括：
针对试题搜索结果根据用户历史搜索记录中的年级、和/或学科偏好在排序中进行加权运算。
7.根据权利要求1所述的一种扫描搜题的方法，其特征在于，所述获取扫描试题过程中的扫描图片包括：
实时获取扫描试题过程中的扫描图片；
针对扫描图片进行实时处理提取特征向量，根据提取的特征向量在试题数据库中进行实时检索匹配；
当特征向量的匹配相似度达到设定值，反馈搜题结果。
8.根据权利要求1所述的一种扫描搜题的方法，其特征在于，所述获取扫描试题过程中的扫描图片包括：
获取试题扫描过程中的扫描动作和/或扫描图片的长度，所述的扫描动作包括扫描开和扫描关，一次扫描动作包括一次扫描开和一次扫描关；
当一次扫描动作的扫描图片的长度达到长度阈值，则获取该次扫描动作的扫描图片并与上一次扫描动作的扫描图片进行拼接得到拼接图片；
针对拼接图片进行处理提取特征向量，根据提取的特征向量在试题数据库中进行检索匹配，反馈搜题结果。
9.一种智能扫描笔，其特征在于，包括扫描模块和控制模块：
控制模块获取扫描模块扫描试题过程中的扫描图片；
控制模块提取用于描述扫描图片的图像特征的特征向量；
控制模块根据提取的特征向量上传至服务器，服务器在试题数据库中进行检索匹配，反馈搜题结果。
10.一种存储介质，其特征在于，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现如权利要求1-8中任意一项所述的一种扫描搜题的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111123325.5A CN113821712A (zh) | 2021-09-24 | 2021-09-24 | 一种扫描搜题的方法、智能扫描笔及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111123325.5A CN113821712A (zh) | 2021-09-24 | 2021-09-24 | 一种扫描搜题的方法、智能扫描笔及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113821712A true CN113821712A (zh) | 2021-12-21 |
Family
ID=78915483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111123325.5A Pending CN113821712A (zh) | 2021-09-24 | 2021-09-24 | 一种扫描搜题的方法、智能扫描笔及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113821712A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565750A (zh) * | 2022-02-22 | 2022-05-31 | 杭州布谷蓝途科技有限公司 | 一种纸质试题的处理方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942272A (zh) * | 2014-03-27 | 2014-07-23 | 北京百度网讯科技有限公司 | 图片搜索方法和装置 |
| KR20180073440A (ko) * | 2016-12-22 | 2018-07-02 | 주식회사 에스비앤컴퍼니 | 시험지 인식을 통한 유사 문제 추출 장치 및 그 방법 |
| CN109271401A (zh) * | 2018-09-26 | 2019-01-25 | 杭州大拿科技股份有限公司 | 一种题目搜索、批改方法、装置、电子设备和存储介质 |
| CN112347289A (zh) * | 2019-08-06 | 2021-02-09 | Tcl集团股份有限公司 | 一种图像管理方法及终端 |
| CN113094538A (zh) * | 2019-12-23 | 2021-07-09 | 中国电信股份有限公司 | 图像的检索方法、装置和计算机可读存储介质 |
-
2021
- 2021-09-24 CN CN202111123325.5A patent/CN113821712A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942272A (zh) * | 2014-03-27 | 2014-07-23 | 北京百度网讯科技有限公司 | 图片搜索方法和装置 |
| KR20180073440A (ko) * | 2016-12-22 | 2018-07-02 | 주식회사 에스비앤컴퍼니 | 시험지 인식을 통한 유사 문제 추출 장치 및 그 방법 |
| CN109271401A (zh) * | 2018-09-26 | 2019-01-25 | 杭州大拿科技股份有限公司 | 一种题目搜索、批改方法、装置、电子设备和存储介质 |
| CN112347289A (zh) * | 2019-08-06 | 2021-02-09 | Tcl集团股份有限公司 | 一种图像管理方法及终端 |
| CN113094538A (zh) * | 2019-12-23 | 2021-07-09 | 中国电信股份有限公司 | 图像的检索方法、装置和计算机可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565750A (zh) * | 2022-02-22 | 2022-05-31 | 杭州布谷蓝途科技有限公司 | 一种纸质试题的处理方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107609056B (zh) | 一种基于图片识别的问答处理方法与设备 | |
| EP2907058B1 (en) | Incremental visual query processing with holistic feature feedback | |
| Mai et al. | Spatial-semantic image search by visual feature synthesis | |
| CN111209423B (zh) | 一种基于电子相册的图像管理方法、装置以及存储介质 | |
| CN110413875A (zh) | 一种文本信息推送的方法以及相关装置 | |
| CN112990390B (zh) | 一种图像识别模型的训练方法、图像识别的方法及装置 | |
| CN111672109B (zh) | 一种游戏地图生成的方法、游戏测试的方法以及相关装置 | |
| CN112203115B (zh) | 一种视频识别方法和相关装置 | |
| CN108304376B (zh) | 文本向量的确定方法、装置、存储介质及电子装置 | |
| CN113657087B (zh) | 信息的匹配方法及装置 | |
| CN111159380A (zh) | 交互方法、装置、计算机设备及存储介质 | |
| CN111160157B (zh) | 基于dwg图纸的文本提取方法及相关产品 | |
| CN113344016A (zh) | 深度迁移学习方法、装置、电子设备及存储介质 | |
| CN113822427A (zh) | 一种模型训练的方法、图像匹配的方法、装置及存储介质 | |
| CN111008589B (zh) | 人脸关键点检测方法、介质、装置和计算设备 | |
| CN116109732A (zh) | 图像标注方法、装置、处理设备及存储介质 | |
| CN115661829A (zh) | 图文识别方法及图文识别模型的数据处理方法 | |
| CN113821712A (zh) | 一种扫描搜题的方法、智能扫描笔及存储介质 | |
| CN111429414B (zh) | 基于人工智能的病灶影像样本确定方法和相关装置 | |
| CN112862021A (zh) | 一种内容标注方法和相关装置 | |
| CN113361384A (zh) | 人脸识别模型压缩方法、设备、介质及计算机程序产品 | |
| CN110895555B (zh) | 数据检索方法和装置、存储介质及电子装置 | |
| CN116758362A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN111191065A (zh) | 一种同源图像确定方法及装置 | |
| CN116956996A (zh) | 数据处理方法、装置、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230616 Address after: 6001, 6th Floor, No.1 Kaifeng Road, Shangdi Information Industry Base, Haidian District, Beijing, 100085 Applicant after: Beijing Baige Feichi Technology Co.,Ltd. Address before: 100085 4002, 4th floor, No.1 Kaifa Road, Shangdi Information Industry base, Haidian District, Beijing Applicant before: ZUOYEBANG EDUCATION TECHNOLOGY (BEIJING) CO.,LTD. |
|
| TA01 | Transfer of patent application right |