CN111522981A - 一种辅助用户进行信息检索的方法及装置 - Google Patents
一种辅助用户进行信息检索的方法及装置 Download PDFInfo
- Publication number
- CN111522981A CN111522981A CN202010301563.XA CN202010301563A CN111522981A CN 111522981 A CN111522981 A CN 111522981A CN 202010301563 A CN202010301563 A CN 202010301563A CN 111522981 A CN111522981 A CN 111522981A
- Authority
- CN
- China
- Prior art keywords
- information
- user
- image
- spine
- cover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000000463 material Substances 0.000 claims abstract description 77
- 230000015654 memory Effects 0.000 claims description 20
- 238000012015 optical character recognition Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 239000002609 medium Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000903 blocking effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种辅助用户进行信息检索的方法及装置。本申请实施例提供的技术方案,通过对教材图像进行识别以得到对应的书目信息,并根据书目信息对通过关键字信息检索到的结果集进行相似度匹配以进行结果集的更新,从而增加搜索结果与用户期望的相关性,提供给用户更加贴合用户需求的内容展示。
Description
技术领域
本申请实施例涉及在线教育技术领域,尤其涉及一种辅助用户进行信息检索的方法及装置。
背景技术
目前,当孩子遇到作业有问题时,一般采用的方式是询问家长或自己通过家教机去进行查询。当孩子在使用家教机辅导软件搜索作业的相关内容的时候,通常采用的是通过关键字进行搜索的方式;这种方式需要进行精准的关键词描述才能准确定位所需要搜索的题目。但是由于不同区域有不同类型的教材,不同的教材版本之间的知识点存在差异,使得学生搜索到的内容多是与特定作业无关的内容,并且小孩采用的关键字不准确也容易搜索不到自己想要的内容,进而无法帮助小孩儿进行作业的辅导。
发明内容
本申请实施例提供一种辅助用户进行信息检索的方法及装置,能够通过对教材的相关内容进行识别,并结合用户输入的关键字信息增加检索结果与用户期望的相关性,提供给用户更加贴合的内容。
在第一方面,本申请实施例提供了一种辅助用户进行信息检索的方法,包括:
获取通过智能设备拍摄到的教材的封面图像或书脊图像;
对教材的封面图像或书脊图像进行光学字符识别处理得到对应的书目信息;
接收用户输入的关键字信息,根据关键字信息对预设的知识数据库进行检索得到第一结果集;
根据书目信息对第一结果集进行相似度匹配得到第二结果集;
发送第二结果集至智能设备以进行显示。
进一步的,获取通过智能设备拍摄到的教材的封面图像或书脊图像,包括:
获取通过智能设备拍摄到的反光镜中的教材的封面镜像图像或书脊镜像图像;
对封面镜像图像或书脊镜像图像进行镜像翻转得到对应的封面图像或书脊图像。
进一步的,对封面镜像图像或书脊镜像图像进行镜像翻转得到对应的封面图像或书脊图像,包括:
获取封面镜面图像或书脊镜像图像中的像素点;
以封面镜面图像或书脊镜像图像的中轴线对对应的封面镜面图像或书脊镜像图像中像素点进行左右对称互换得到封面图像或书脊图像。
进一步的,在发送第二结果集至智能设备以进行显示之后,还包括:
当检测到智能设备的触控操作时,发送与触控操作关联的结果内容至智能设备以进行显示。
进一步的,在当检测到智能设备的触控操作时,发送与触控操作关联的结果内容至智能设备以进行显示之后,还包括:
根据触控操作对预先存储的用户浏览偏好进行更新,触控操作包括点选图片信息、点选文字信息和点选视频信息。
进一步的,根据关键字信息对知识数据库进行检索得到第一结果集,包括:
根据关键字信息以及用户浏览偏好对预设的知识数据库进行检索得到第一结果集,用户浏览偏好包括历史浏览内容。
进一步的,在对教材的封面图像或书脊图像进行光学字符识别处理得到对应的书目信息之后,还包括:
接收智能设备发送的位置信息,根据位置信息对书目信息进行修正。
在第二方面,本申请实施例提供了一种辅助用户进行信息检索的装置,包括:
获取模块:用于获取通过智能设备拍摄到的教材的封面图像或书脊图像;
识别模块:用于对教材的封面图像或书脊图像进行光学字符识别处理得到对应的书目信息;
接收模块:用于接收用户输入的关键字信息,根据关键字信息对预设的知识数据库进行检索得到第一结果集;
匹配模块:用于根据书目信息对第一结果集进行相似度匹配得到第二结果集;
发送模块:用于发送第二结果集至智能设备以进行显示。
在第三方面,本申请实施例提供了一种电子设备,包括:
存储器以及一个或多个处理器;
存储器,用于存储一个或多个程序;
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面的辅助用户进行信息检索的方法。
在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行如第一方面的辅助用户进行信息检索的方法。
本申请实施例通过对教材图像进行识别以得到对应的书目信息,并根据书目信息对通过关键字信息检索到的结果集进行相似度匹配以进行结果集的更新,从而增加搜索结果与用户期望的相关性,提供给用户更加贴合用户需求的内容展示。
附图说明
图1是本申请实施例提供的一种辅助用户进行信息检索的方法的流程图;
图2是本申请实施例提供的教材的封面图像显示示意图;
图3是本申请实施例提供的通过反光镜进行图像获取的流程示意图;
图4是本申请实施例提供的通过智能设备进行镜像图像获取的结构示意图;
图5是本申请实施例提供的通过摄像头进行镜像图像获取的结构示意图;
图6是本申请实施例提供的进行镜像翻转的流程示意图;
图7是本申请实施例提供的一种辅助用户进行信息检索的装置的结构示意图;
图8是本申请实施例提供的一种电子设备的结构示意图。
附图标记:11、智能设备;111、摄像头;12、反光镜;13、反射镜像范围;14、教材。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的辅助用户进行信息检索的方法,通过对教材图像进行识别以得到对应的书目信息,并根据书目信息对通过关键字信息检索到的结果集进行相似度匹配以进行结果集的更新。而现有的方案往往采用的是直接进行关键字进行识别的方式,这种方式需要用户收集更多的信息进行高度的概括总结,否则检索到的内容往往与实际期望并不相符。基于此,本申请采用关键字以及教材图像的识别结果组合的方式来进行搜索匹配,从而增加搜索结果与用户期望的相关性,提供给用户更加贴合用户需求的内容展示。
图1给出了本申请实施例提供的一种辅助用户进行信息检索的方法的流程图,本实施例中提供的辅助用户进行信息检索的方法可以由辅助用户进行信息检索的方法设备执行,该辅助用户进行信息检索的方法设备可以通过软件和/或硬件的方式实现,该辅助用户进行信息检索的方法设备可以是两个或多个物理实体构成,也可以是一个物理实体构成。一般而言,该辅助用户进行信息检索的方法设备可以是电脑,手机,平板或后台服务器等。
下述以后台服务器为执行辅助用户进行信息检索的方法的设备为例,进行描述。参照图1,该辅助用户进行信息检索的方法具体包括:
S101:获取通过智能设备拍摄到的教材的封面图像或书脊图像。
图2是本申请实施例提供的教材的封面图像显示示意图,如图2所示,其为通过摄像头获取到的封面图像,在本步骤通过智能设备拍摄到教材的封面图像或书脊图像,在封面图像或者书脊图像中,除了包括有科目信息之外,如图2中显示的“语文”,还包括有年级信息“四年级上”以及出版社信息“人民教育出版社”。
更为优选的,图3是本申请实施例提供的通过反光镜进行图像获取的流程示意图,如图3所示,获取通过智能设备拍摄到的教材14的封面图像或书脊图像,包括:
S1011:获取通过智能设备拍摄到的反光镜中的教材14的封面镜像图像或书脊镜像图像。
通过智能设备11的摄像头111拍摄反光镜12中的信息,以得到镜像图像,参照图4,智能设备11包括反光镜12,反光镜12设置于智能设备11前置摄像头111的顶部,用于反射教材14对应范围区域的教材14镜像图片,前置摄像头111用于对应反光镜12的镜面拍摄到的教材14镜像图像。具体的,在实际应用中,学生将智能设备11竖直放置,并同时打开app进行学习。参照图4,将教材14放置于反光镜12的反射镜像范围13内容,则摄像头111通过反光镜12获取反射镜像范围13的教材14镜像图像。参照图5,其中智能设备11的前置摄像头111设于反光镜12偏下的位置,对应拍摄该反光镜12的镜面。当需要采集教材14镜像图片时,即可通过前置摄像头111拍摄反光镜12的镜面进行教材14镜像图片采集。需要说明的是,本申请实施例的反光镜12,一般可采用可拆卸装配的形式安装于智能设备11的顶部边缘,并对应将镜面倾斜设置,镜面朝向摄像头111。在需要进行纸质教材14本、笔记等图片数据的上传时安装使用,当不需要进行相关图片数据上传时,可将其拆卸。通过安装反光镜12能够更加方便使用者进行使用。
S1012:对封面镜像图像或书脊镜像图像进行镜像翻转得到对应的封面图像或书脊图像。
由于此时智能设备11获取到的教材镜像图片是通过前置摄像头111拍摄反光镜12间接获取,其与实际拍摄的教材图片相反,需要对应进行镜面翻转处理以得到正常的图片。并且,由于教材图片拍摄时包含了教材外边缘以外的背景区域,因此,为了减少教材图片噪声及图片数据量,需要进一步对图片进行处理得到最终的正放且清晰的图片,将正向放置的教材图像定义其为封面图像,在本实施例中,封面图像指的及时正向放置的教材图像,封面镜像图像是摄像头111通过反光镜12获取到的图像信息。
进一步的,如图6所示,图6是本申请实施例提供的进行镜像翻转的流程示意图,对封面镜像图像或书脊镜像图像进行镜像翻转得到对应的封面图像或书脊图像,包括:
S1012a:获取封面镜面图像或书脊镜像图像中的像素点。
S1012b:以封面镜面图像或书脊镜像图像的中轴线对对应的封面镜面图像或书脊镜像图像中像素点进行左右对称互换得到封面图像或书脊图像。
通过上述步骤可以实现对镜面图像的翻转。
进一步的,在进行在线学习辅导过程中,通过用户点击智能设备11中相应APP界面的教材在线批改选项触发教材图片的获取。由于教材图片通过反光镜12间接获取。因此定义此时摄像头111获取到的教材图片为教材镜像图片。并且,智能设备11在进行教材镜像图片获取时,为了能够获取到完整的教材镜像图片,避免学生将纸质教材本放置在错误的位置,导致最终获取到的教材镜像图片不完整甚至获取失败的情况,需要实时提示学生当前纸质教材本是否放置在反光镜12的反射镜像范围13内。智能设备11通过对实时获取到的教材镜像图片进行检测识别。智能设备11预先配置对应教材的目标检测模型。目标检测模型实时对教材镜像图片进行目标(即教材)检测,当检测到完整的教材时,则表示当前教材镜像图片有效。当检测不到教材本或者教材本不完整时,则表示当前教材镜像图片无效。对应教材的目标检测模型采用基于卷积神经网络的目标检测算法构建,该目标检测模型可以是YOLO、R-CNN等目标检测模型。现有技术关于目标检测的技术手段有很多,本申请实施例不做固定限制,具体以能够检测完整教材本为准,在此不多赘述。
进一步的,为了更好的提示用户,还可以通过智能设备进行语音提示,在进行激光投射时,通过智能设备的扬声器输出提示语音,提示语音“请将教材放置于激光投射范围内”,以此即可更好地提示用户准确放置教材。
在一个实施例中,智能设备还通过对获取到的教材镜像图片进行遮挡物检测,检测到教材上出现相关遮挡物,则输出遮挡提示,以告知当前教材的遮挡情况,提示用户消除遮挡干扰,进一步获取更高质量的教材镜像图片。遮挡物的检测可参照上述教材的目标检测,在此不多赘述。
S102:对教材的封面图像或书脊图像进行光学字符识别处理得到对应的书目信息。
在本步骤主要是为了对封面图像进行光学字符识别,通过光学字符识别能够更加快速准确的定位封面图像中的各项信息。如图2所示,通过对图2中的封面图像识别,可以得到对应的书目信息,书目信息包括年级信息、科目信息和出版社信息。对应的,也即是四年级上、语文以及人民教育出版社这些信息。由于采用光学字符,故而会忽略封面图像中的图画信息,也即是图2中正中央的图画信息,因为这些图画信息对于获取具体知识点的信息并不起到辅助作用,故而在本实施例中采用光学字符识别技术来实现更快速的字符识别。除了,针对于封面进行识别的方式之外,还可以对书脊进行识别,因为书脊也包含有年级信息、科目信息和出版社信息。但是更为优选的,采用对封面识别的方式,这样更加便于用户进行使用。
更为优选的,在对教材的封面图像或书脊图像进行光学字符识别处理得到对应的书目信息之后,还包括:
S1021:接收智能设备发送的位置信息,根据位置信息对书目信息进行修正。
即使同一出版社,也有可能针对于不同的地区也可能会编排有不同类型的教材,虽然在知识点上内容相同,但是在顺序编排上存在差异。因此,在进行信息识别时,还可以获取智能设备的位置信息来进行进一步的甄别。比如,江苏省、河南省、广东省在使用的教材上会存在差异,所以需要针对具体地点对教材进行筛选,可以通过网络知晓各个区域采用的具体教材版本,并对书目信息进行进一步的修正以便于获取更准确的搜索结果信息。
S103:接收用户输入的关键字信息,根据关键字信息对预设的知识数据库进行检索得到第一结果集。
当用户输入“牛顿三定律”时,根据上述关键字信息对预先存储的知识数据库进行检索以得到对应与牛顿三定律相关的内容,这些内容包括有各个版本教材对应的知识点解释,也包括有视频讲解内容;得到用户有序的结果集合或者无序的结果集合。
更为优选的,根据关键字信息对知识数据库进行检索得到第一结果集,包括:
根据关键字信息以及用户浏览偏好对预设的知识数据库进行检索得到第一结果集,用户浏览偏好包括历史浏览内容。
为了得到更符合用户期望的信息,通过用户历史浏览偏好结合大数据得出用户浏览偏好,比如在历史记录中,用户点选的与“人民教育出版社”相关的教材次数最多,那么在进行结果排序时,则将与人教版相关的搜索结果内容排在靠前的位置,以提高搜索结果与期望的相关性。
S104:根据书目信息对第一结果集进行相似度匹配得到第二结果集。
通过关键字进行检索时,往往得到的信息不够准确,故而需要通过书目信息对其排序结果进行修正以提高与用户期望的相关性。示例性的,当用户在步骤S103中检索到的结果有6个时,可以知晓,此时匹配的结果数量并不是很多,所以需要将其全部进行显示,此时通过书目信息来调整第一结果集中的搜索权重,根据书目信息对其进行重新排序,来进行进一步的精准定位。但当检索到的结果有50个时,此时书目信息不仅仅可以用于进行重新排序,还可以对第一结果集进行内容删减,因为用户往往并不需要那么多的内容进行一一查看,所以结合书目信息得到排名靠前的检索结果内容,得到的结果的数量可以是固定数量,比如可以得到6个最终检索结果以供用户进行查看,或者还可以按照比例来进行显示,比如当第一结果集的数量有100个时,按照预设比例20%,那么最终显示的结果数为20,如果第一结果集的数量有50个,那么按照预设比例20%,得到的结果数为10。
S105:发送第二结果集至智能设备以进行显示。
得到与用户期望相关性高的第二结果集,并将其发送至智能设备处进行显示,在进行显示时,可以对相关性最高的进行加粗显示或者标红处理,便于用户进行直接精准定位到最接近的信息。
S106:当检测到智能设备的触控操作时,发送与触控操作关联的结果内容至智能设备以进行显示。
该智能设备可以是家教机或者平板电脑,将第二结果集显示给用户之后,用户可以点选其中的内容进行查看,并同时记录用户点选的整个过程,因为用户有可能点选的第一个内容并不符合自己的期望,点选进去之后,用户会退出进行内容的重新选择。当用户退出检索页面时,停止对用户点选的内容进行记录。通过记录上述点选过程以对用户后续的检索进行优化,使得最终检索到的结果能够更加符合用户的期望。
更为优选的,根据触控操作对预先存储的用户浏览偏好进行更新,触控操作包括点选图片信息、点选文字信息和点选视频信息。用户的浏览偏好指的是用户在浏览器上进行内容搜索的偏好,比如在历史检索过程中,用户更加偏向于对人教版的进行检索,还是更加偏向于对苏教版的内容进行检索,将上述检索过程中记录入用户的浏览偏好中,除了上述预先存储的用户浏览偏好之外,还可以结合用户在检索之后的点选信息进行用户浏览偏好的更新,使得检索结果越来越符合用户的期望。
在搜索过程中,将文本关键字与图像识别结合提高搜索准确性,并且在整个提高搜索相关性的过程中能够减少对用户干扰,使得用户在无意识过程中即可得到更优化的服务。
本申请实施例通过对教材图像进行识别以得到对应的书目信息,并根据书目信息对通过关键字信息检索到的结果集进行相似度匹配以进行结果集的更新,从而增加搜索结果与用户期望的相关性,提供给用户更加贴合用户需求的内容展示。
在上述实施例的基础上,图7为本申请实施例提供的一种辅助用户进行信息检索的装置的结构示意图。参考图7,本实施例提供的辅助用户进行信息检索的装置具体包括:
获取模块21:用于获取通过智能设备拍摄到的教材的封面图像或书脊图像;
识别模块22:用于对教材的封面图像或书脊图像进行光学字符识别处理得到对应的书目信息;
接收模块23:用于接收用户输入的关键字信息,根据关键字信息对预设的知识数据库进行检索得到第一结果集;
匹配模块24:用于根据书目信息对第一结果集进行相似度匹配得到第二结果集;
发送模块25:用于发送第二结果集至智能设备以进行显示。
本申请实施例通过对教材图像进行识别以得到对应的书目信息,并根据书目信息对通过关键字信息检索到的结果集进行相似度匹配以进行结果集的更新,从而增加搜索结果与用户期望的相关性,提供给用户更加贴合用户需求的内容展示。
本申请实施例提供的辅助用户进行信息检索的装置可以用于执行上述实施例提供的辅助用户进行信息检索的方法,具备相应的功能和有益效果。
图8是本申请实施例提供的一种电子设备的结构示意图,参照图7,该电子设备包括:处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器31的数量可以是一个或多个,该电子设备中的存储器32的数量可以是一个或多个。该电子设备的处理器31、存储器32、通信模块33、输入装置34及输出装置35可以通过总线或其他方式连接。
存储器32作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意实施例的辅助用户进行信息检索的方法对应的程序指令/模块(例如,辅助用户进行信息检索的装置中的获取模块21、识别模块22、接收模块23、匹配模块24和发送模块25)。存储器32可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器32可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器32中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的辅助用户进行信息检索的方法。
输入装置34可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例提供的辅助用户进行信息检索的方法,具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器31执行时用于执行一种辅助用户进行信息检索的方法,该辅助用户进行信息检索的方法包括:
获取通过智能设备拍摄到的教材的封面图像或书脊图像;
对教材的封面图像或书脊图像进行光学字符识别处理得到对应的书目信息;
接收用户输入的关键字信息,根据关键字信息对预设的知识数据库进行检索得到第一结果集;
根据书目信息对第一结果集进行相似度匹配得到第二结果集;
发送第二结果集至智能设备以进行显示。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器31执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的辅助用户进行信息检索的方法,还可以执行本申请任意实施例所提供的辅助用户进行信息检索的方法中的相关操作。
上述实施例中提供的辅助用户进行信息检索的装置、存储介质及电子设备可执行本申请任意实施例所提供的辅助用户进行信息检索的方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的辅助用户进行信息检索的方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。
Claims (10)
1.一种辅助用户进行信息检索的方法,其特征在于,包括:
获取通过智能设备拍摄到的教材的封面图像或书脊图像;
对所述教材的封面图像或书脊图像进行光学字符识别处理得到对应的书目信息;
接收用户输入的关键字信息,根据所述关键字信息对预设的知识数据库进行检索得到第一结果集;
根据所述书目信息对所述第一结果集进行相似度匹配得到第二结果集;
发送所述第二结果集至所述智能设备以进行显示。
2.根据权利要求1所述的辅助用户进行信息检索的方法,其特征在于,所述获取通过智能设备拍摄到的教材的封面图像或书脊图像,包括:
获取通过智能设备拍摄到的反光镜中的教材的封面镜像图像或书脊镜像图像;
对所述封面镜像图像或书脊镜像图像进行镜像翻转得到对应的封面图像或书脊图像。
3.根据权利要求2所述的辅助用户进行信息检索的方法,其特征在于,所述对所述封面镜像图像或书脊镜像图像进行镜像翻转得到对应的封面图像或书脊图像,包括:
获取所述封面镜面图像或书脊镜像图像中的像素点;
以所述封面镜面图像或书脊镜像图像的中轴线对对应的封面镜面图像或书脊镜像图像中像素点进行左右对称互换得到封面图像或书脊图像。
4.根据权利要求1所述的辅助用户进行信息检索的方法,其特征在于,在所述发送所述第二结果集至所述智能设备以进行显示之后,还包括:
当检测到所述智能设备的触控操作时,发送与所述触控操作关联的结果内容至所述智能设备以进行显示。
5.根据权利要求1所述的辅助用户进行信息检索的方法,其特征在于,在所述当检测到所述智能设备的触控操作时,发送与所述触控操作关联的结果内容至所述智能设备以进行显示之后,还包括:
根据所述触控操作对预先存储的用户浏览偏好进行更新,所述触控操作包括点选图片信息、点选文字信息和点选视频信息。
6.根据权利要求1-5中任意一项所述的辅助用户进行信息检索的方法,其特征在于,所述根据所述关键字信息对知识数据库进行检索得到第一结果集,包括:
根据所述关键字信息以及用户浏览偏好对所述预设的知识数据库进行检索得到第一结果集,所述用户浏览偏好包括历史浏览内容。
7.根据权利要求1-5中任意一项所述的辅助用户进行信息检索的方法,其特征在于,在对所述教材的封面图像或书脊图像进行光学字符识别处理得到对应的书目信息之后,还包括:
接收所述智能设备发送的位置信息,根据所述位置信息对所述书目信息进行修正。
8.一种辅助用户进行信息检索的装置,其特征在于,包括:
获取模块:用于获取通过智能设备拍摄到的教材的封面图像或书脊图像;
识别模块:用于对所述教材的封面图像或书脊图像进行光学字符识别处理得到对应的书目信息;
接收模块:用于接收用户输入的关键字信息,根据所述关键字信息对预设的知识数据库进行检索得到第一结果集;
匹配模块:用于根据所述书目信息对所述第一结果集进行相似度匹配得到第二结果集;
发送模块:用于发送所述第二结果集至所述智能设备以进行显示。
9.一种电子设备,其特征在于,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7任一所述的辅助用户进行信息检索的方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的辅助用户进行信息检索的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010301563.XA CN111522981A (zh) | 2020-04-16 | 2020-04-16 | 一种辅助用户进行信息检索的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010301563.XA CN111522981A (zh) | 2020-04-16 | 2020-04-16 | 一种辅助用户进行信息检索的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111522981A true CN111522981A (zh) | 2020-08-11 |
Family
ID=71912010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010301563.XA Pending CN111522981A (zh) | 2020-04-16 | 2020-04-16 | 一种辅助用户进行信息检索的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111522981A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114220305A (zh) * | 2021-12-08 | 2022-03-22 | 安徽新华传媒股份有限公司 | 一种基于人工智能图像识别技术的教学系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102790841A (zh) * | 2011-05-19 | 2012-11-21 | 精工爱普生株式会社 | 书籍的书脊区域中数字图像的检测和校正方法 |
CN103020270A (zh) * | 2012-12-26 | 2013-04-03 | 中国科学院计算技术研究所 | 用于电子书籍的信息检索系统和方法 |
US20150161346A1 (en) * | 2013-12-05 | 2015-06-11 | International Business Machines Corporation | Patient risk stratification by combining knowledge-driven and data-driven insights |
CN106951433A (zh) * | 2017-02-04 | 2017-07-14 | 百度在线网络技术(北京)有限公司 | 一种检索方法及装置 |
CN107729487A (zh) * | 2017-10-17 | 2018-02-23 | 广东小天才科技有限公司 | 题目搜索方法、题目搜索装置及电子终端 |
CN108733718A (zh) * | 2017-04-21 | 2018-11-02 | 北京搜狗科技发展有限公司 | 搜索结果的显示方法、装置以及用于搜索结果的显示装置 |
CN109063182A (zh) * | 2018-08-23 | 2018-12-21 | 广东小天才科技有限公司 | 一种基于语音搜题的内容推荐方法及电子设备 |
CN109327657A (zh) * | 2018-07-16 | 2019-02-12 | 广东小天才科技有限公司 | 一种基于摄像头的拍照搜题方法及家教设备 |
-
2020
- 2020-04-16 CN CN202010301563.XA patent/CN111522981A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102790841A (zh) * | 2011-05-19 | 2012-11-21 | 精工爱普生株式会社 | 书籍的书脊区域中数字图像的检测和校正方法 |
CN103020270A (zh) * | 2012-12-26 | 2013-04-03 | 中国科学院计算技术研究所 | 用于电子书籍的信息检索系统和方法 |
US20150161346A1 (en) * | 2013-12-05 | 2015-06-11 | International Business Machines Corporation | Patient risk stratification by combining knowledge-driven and data-driven insights |
CN106951433A (zh) * | 2017-02-04 | 2017-07-14 | 百度在线网络技术(北京)有限公司 | 一种检索方法及装置 |
CN108733718A (zh) * | 2017-04-21 | 2018-11-02 | 北京搜狗科技发展有限公司 | 搜索结果的显示方法、装置以及用于搜索结果的显示装置 |
CN107729487A (zh) * | 2017-10-17 | 2018-02-23 | 广东小天才科技有限公司 | 题目搜索方法、题目搜索装置及电子终端 |
CN109327657A (zh) * | 2018-07-16 | 2019-02-12 | 广东小天才科技有限公司 | 一种基于摄像头的拍照搜题方法及家教设备 |
CN109063182A (zh) * | 2018-08-23 | 2018-12-21 | 广东小天才科技有限公司 | 一种基于语音搜题的内容推荐方法及电子设备 |
Non-Patent Citations (1)
Title |
---|
人民音乐出版社总编室编: "《音乐编辑手册》", 30 September 1994, 《北京:人民音乐出版社》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114220305A (zh) * | 2021-12-08 | 2022-03-22 | 安徽新华传媒股份有限公司 | 一种基于人工智能图像识别技术的教学系统 |
CN114220305B (zh) * | 2021-12-08 | 2024-04-02 | 安徽新华传媒股份有限公司 | 一种基于人工智能图像识别技术的教学系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11615308B2 (en) | Generating responses to queries about videos utilizing a multi-modal neural network with attention | |
US11417092B2 (en) | Systems, methods, and apparatus for image-responsive automated assistants | |
US6377296B1 (en) | Virtual map system and method for tracking objects | |
CN103955525A (zh) | 一种搜索试题答案的方法及客户端 | |
US8577882B2 (en) | Method and system for searching multilingual documents | |
US8412652B2 (en) | Apparatus and methods for operator training in information extraction | |
US20170206227A1 (en) | Method and apparatus for processing image | |
CN108052687B (zh) | 一种基于互联网的教育信息搜索系统 | |
US9063936B2 (en) | Image, audio, and metadata inputs for keyword resource navigation links | |
AU2020311360A1 (en) | Enhancing tangible content on physical activity surface | |
US20050234851A1 (en) | Automatic modification of web pages | |
US8285697B1 (en) | Feedback enhanced attribute extraction | |
US9292621B1 (en) | Managing autocorrect actions | |
US8799401B1 (en) | System and method for providing supplemental information relevant to selected content in media | |
US8965971B2 (en) | Image, audio, and metadata inputs for name suggestion | |
CN111506381A (zh) | 一种直播教学中辅助用户进行信息录入的方法及装置 | |
CN108121987B (zh) | 一种信息处理方法和电子设备 | |
CN116628150A (zh) | 用于问答的方法、装置、设备和存储介质 | |
CN111522981A (zh) | 一种辅助用户进行信息检索的方法及装置 | |
CN108182284B (zh) | 一种基于互联网的教育信息处理方法及装置 | |
CN105787099A (zh) | 一种获取学习资料的方法及装置 | |
CN109697242A (zh) | 拍照搜题方法、装置、存储介质和计算设备 | |
WO2020057347A1 (zh) | 一种多媒体文件检索方法及装置 | |
CN111506240A (zh) | 一种基于家教机的作业在线批改方法及装置 | |
US20180293299A1 (en) | Query processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200811 |
|
RJ01 | Rejection of invention patent application after publication |