CN115292542B - 基于试题配图的试题搜索方法、系统、存储介质及设备 - Google Patents
基于试题配图的试题搜索方法、系统、存储介质及设备 Download PDFInfo
- Publication number
- CN115292542B CN115292542B CN202211224461.8A CN202211224461A CN115292542B CN 115292542 B CN115292542 B CN 115292542B CN 202211224461 A CN202211224461 A CN 202211224461A CN 115292542 B CN115292542 B CN 115292542B
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- coordinate system
- test question
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
- G06V30/19093—Proximity measures, i.e. similarity or distance measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于试题配图的试题搜索方法、系统、存储介质及设备,该方法包括:获取当前试题中的配图图像,并将配图图像输入至预训练的分类模型当中,以判断配图图像是否为坐标系图像;若是,则将配图图像分别输入至预训练的分割识别模型及特征提取模型当中,以得到当前试题配图的配图特征以及坐标符号;根据坐标符号查找与坐标符号相似的目标图像特征库,并获取配图特征与目标图像特征库中的各个图像特征之间的相似度;若否,获取当前试题配图的配图特征;并获取配图特征与预设的非坐标系图像特征库的各个图像特征之间的相似度;根据相似度确定与当前试题相关的推荐试题。本发明解决了现有技术中在为当前试题推荐类似试题时不准确的问题。
Description
技术领域
本发明涉及智能教育技术领域,特别涉及一种基于试题配图的试题搜索方法、系统、存储介质及设备。
背景技术
随着教育以及人工智能的发展,教育和人工智能也实现了有机结合,特别是对于用于检测的试题出题方面,人们已经不仅仅局限于通过人工对试题进行推送,现如今,大部分都在采用智能算法对试题进行智能推送,例如,针对做题者应答的当前试题智能推送与考点类似的推荐试题。
现有的试题搜索主要基于试题文本,根据输入的文本内容或者对试题进行文本识别,进行字符级别的搜索来推送类似试题,例如,获取待搜索的试题,输入试题的文本内容或者输入整张试题图片并对整张图片进行字符识别,对输入或者识别得到的文本信息作为关键词在题库系统中进行搜索,以找到相似的试题。
然而,对整张试题图片文字识别,受图像质量影响大,模糊图像文字识别容易错误,导致试题语义被曲解,从而搜索错误,纯文本形式检索,文本信息作为关键字,会存在大量文本虽然相似,但是完全不相关的考点试题,导致搜索精度偏低,需要大量人工校验,因此,无论是对整张试题图片文字识别还是根据试题的文本信息进行识别的方式,均会存在试题推荐不准确的问题。
发明内容
有鉴于此,本发明的目的在于提供一种基于试题配图的试题搜索方法、系统、存储介质及设备,旨在解决现有技术中在为当前试题推荐类似试题时不准确的问题。
本发明实施例是这样实现的:
一种基于试题配图的试题搜索方法,所述方法包括:
获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像;
若是,则将所述配图图像分别输入至预训练的分割识别模型及特征提取模型当中,以得到所述当前试题配图的配图特征以及坐标符号;
根据所述坐标符号在预设的坐标系图像特征库中查找与所述坐标符号相似的目标图像特征库,并获取所述配图特征与目标图像特征库中的各个图像特征之间的相似度;
若否,则将所述配图图像输入至预训练的特征提取模型当中,以得到所述当前试题配图的配图特征;
获取所述配图特征与预设的非坐标系图像特征库的各个图像特征之间的相似度;
根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题。
进一步的,上述基于试题配图的试题搜索方法,其中,所述获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像的步骤之前还包括:
收集预设数量的试题配图图像,将所述试题配图图像分为坐标系图像和非坐标系图像,并将所述坐标系图像和非坐标系图像输入至第一预设神经网络进行深度学习训练得到所述分类模型;
对所述坐标系图像标注横纵坐标符号,并将标注后的所述坐标系图像输入至第二预设神经网络进行深度学习训练得到所述分割识别模型;
按照图像相似度对所述试题配图图像进行分类,并将分类后的所述试题配图图像通过深度学习模型迁移学习训练得到特征提取模型。
进一步的,上述基于试题配图的试题搜索方法,其中,所述根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题的步骤之前还包括:
获取所述当前试题的推荐数量,并根据所述推荐数量确定所述当前试题对应的相似度阈值;
根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题的步骤包括:
将所述相似度大于所述相似度阈值的图像特征对应的试题确定为所述当前试题相关的推荐试题。
进一步的,上述基于试题配图的试题搜索方法,其中,所述将所述相似度大于所述相似度阈值的图像特征对应的试题确定为所述当前试题相关的推荐试题的步骤之后还包括:
根据所述相似度的大小将所述当前试题相关的推荐试题从高到低的顺序依次进行排序。
进一步的,上述基于试题配图的试题搜索方法,其中,所述获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像的步骤之前还包括:
获取题库中试题中的所有配图,将所述所有配图分为坐标系配图和非坐标配图;
分别提取所述坐标系配图和非坐标配图中的图片特征以及对应的特征试题建立所述预设的坐标系图像特征库与预设的非坐标系图像特征库。
进一步的,上述基于试题配图的试题搜索方法,其中,所述分别提取所述坐标系配图和非坐标配图中的图片特征以及对应的特征试题建立所述预设的坐标系图像特征库与预设的非坐标系图像特征库的步骤之后还包括:
当所述当前试题的所述配图图像为坐标系图像时,将所述当前试题配图的配图特征、坐标符号以及对应的试题信息输入至所述预设的坐标系图像特征库以对所述预设的坐标系图像特征库进行更新;
当所述当前试题的所述配图图像为非坐标系图像时,将所述当前试题配图的配图特征以及对应的试题信息输入至所述预设的非坐标系图像特征库以对所述预设的非坐标系图像特征库进行更新。
进一步的,上述基于试题配图的试题搜索方法,其中,所述获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像的步骤包括:
获取当前试题中的配图图像,将所述当前试题的配图图像进行预处理,并将预处理后的所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像;
其中,所述预处理至少包括去噪、数据增强、大小变化以及将所述配图图像的尺寸调整为预设大小。
本发明的另一方面在于提供一种基于试题配图的试题搜索方法的系统,所述系统包括:
配图图像获取模块,用于获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像;
第一配图特征获取模块,用于当判断到所述配图图像为坐标系图像时,则将所述配图图像分别输入至预训练的分割识别模型及特征提取模型当中,以得到所述当前试题配图的配图特征以及坐标符号;
第一相似度获取模块,用于根据所述坐标符号在预设的坐标系图像特征库中查找与所述坐标符号相似的目标图像特征库,并获取所述配图特征与目标图像特征库中的各个图像特征之间的相似度;
第二配图特征获取模块,用于当判断到所述配图图像为非坐标系图像时,则将所述配图图像输入至预训练的特征提取模型当中,以得到所述当前试题配图的配图特征;
第二相似度获取模块,用于获取所述配图特征与预设的非坐标系图像特征库的各个图像特征之间的相似度;
推荐模块,用于根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题。
本发明实施例的另一个目的是提供一种可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述的方法的步骤。
本发明实施例的另一个目的是提供一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的方法的步骤。
本发明实施例,通过获取试题中的配图图像,并将配图图像输入至预训练的分类模型当中,以判断配图图像是否为坐标系图像;后根据坐标系图像以及非坐标系图像,分别将配图图像输入至预训练的分割识别模型及特征提取模型当中以及单独输入至特征提取模型,获取配图图像的配图特征以及坐标符号,后将配图特征与对应的图像特征库中图像特征进行相似度匹配以确定与试题相关的推荐试题。即对于坐标系图像融合坐标符号和图像特征双层条件,由于坐标符号具有唯一代表性,在题库相同坐标符号下进行相似度搜索,避免了文本信息作为关键字搜索精度的问题,以及对整张试题图片文字识别,由于模糊图像导致文字识别容易错误,提升了试题搜索的准确性,解决了现有技术中在为当前试题推荐类似试题时不准确的问题。
附图说明
图1为本发明第一实施例基于试题配图的试题搜索方法的流程图;
图2为本发明第一实施例基于试题配图的试题搜索方法中的数学试题中的函数坐标图示意图;
图3为本发明第一实施例基于试题配图的试题搜索方法中的物理试题中的电路图示意图;
图4为本发明第三实施例中基于试题配图的试题搜索方法系统的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是,当元件被称为“固设于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
以下将结合具体实施例和附图来详细说明如何提升在为当前试题推荐类似试题时的准确性。
实施例一
请参阅图1,所示为本发明第一实施例中的提出的基于试题配图的试题搜索方法,所述方法包括步骤S10~S15。
步骤S10,获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像,若是,执行步骤S11,若否,执行步骤S13。
其中,试题一般包括文字和图片部分,试题中的文字部分组成试题的题干或者选项等,而图片部分主要是辅助文字部分对试题进行进一步的解释说明,即配图,如图2至图3所示,例如,数学试题中的函数坐标图以及物理试题中的电路图。
分类模型主要对输入的配图图像进行分类,其中,配图图像的类型包括含有坐标系的坐标系图像以及不含有坐标系的非坐标系图像,具体的,在本发明一些可选的实施例当中,分类模型的训练过程可以为:收集预设数量的试题配图图像,将所述试题配图图像分为坐标系图像和非坐标系图像,并将所述坐标系图像和非坐标系图像输入至第一预设神经网络进行深度学习训练得到所述分类模型,其中,预先收集批量的试题配图图像,分为两类(坐标系图像和非坐标系图像),将坐标系图像和非坐标系图像输入至第一预设神经网络进行深度学习训练以得到分类模型。
步骤S11,则将所述配图图像分别输入至预训练的分割识别模型及特征提取模型当中,以得到所述当前试题配图的配图特征以及坐标符号。
其中,当当前试题的配图图像为坐标系图像,将该配图图像送入预训练的分割识别模型中,得到该配图图像的横纵坐标符号,然后送入预训练的特征提取模型中,得到包含该配图图像的特征向量的配图特征。
具体的,在本发明一些可选的实施例当中,分割识别模型的训练过程可以为:对所述坐标系图像标注横纵坐标符号,并将标注后的所述坐标系图像输入至第二预设神经网络进行深度学习训练得到所述分割识别模型;特征提取模型的训练过程可以为:按照图像相似度对所述试题配图图像进行分类,并将分类后的所述试题配图图像通过深度学习模型迁移学习训练得到特征提取模型。
步骤S12,根据所述坐标符号在预设的坐标系图像特征库中查找与所述坐标符号相似的目标图像特征库,并获取所述配图特征与目标图像特征库中的各个图像特征之间的相似度。
其中,坐标符号具有唯一代表性,可以根据坐标符号在预设的坐标系图像特征库查找出与该坐标符号相同的多个试题配图组成的目标图像特征库,再将配图特征与目标图像特征库中的各个图像特征进行相似度匹配以根据相似度匹配的结果确定当前试题的相关推荐试题,其中,预设的坐标系图像特征库为存储有包括坐标系图像的基于坐标符号和试题的图像索引特征库。
步骤S13,则将所述配图图像输入至预训练的特征提取模型当中,以得到所述当前试题配图的配图特征。
具体的,如果是坐标系图像,可以直接送入预训练的特征提取模型中,得到包含该配图的特征向量的配图特征。
步骤S14,获取所述配图特征与预设的非坐标系图像特征库的各个图像特征之间的相似度。
其中,预设的非坐标系图像特征库为存储有不包含坐标系图像的试题的图像索引特征库,将配图特征与预设的非坐标系图像特征库进行相似度匹配以根据相似度匹配的结果确定当前试题的相关推荐试题。
步骤S15,根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题。
具体的,根据当前试题的配图特征与预设的坐标系图像特征库和预设的非坐标系图像特征库中的各个试题对应的配图的图像特征进行相似度计算,以确定试题相关的推荐试题,例如,设定相似度阈值,将与预设的坐标系图像特征库和预设的非坐标系图像特征库中的配图的图像特征的相似度大于相似度阈值的试题作为当前试题相关的推荐试题。
进一步的,在本发明一些可选的实施例当中,所述根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题的步骤之前还包括:
获取所述试题的推荐数量,并根据所述推荐数量确定所述试题对应的相似度阈值;
根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题的步骤包括:
将所述相似度大于所述相似度阈值的图像特征对应的试题确定为所述当前试题相关的推荐试题。
具体的,根据相似度的计算结果可以对试题以相似度从高到低的顺序进行排序,根据排序的结果可以设置对应的阈值,以精准筛选出需要的推荐试题和推荐试题的数量。
另外,在本发明一些可选的实施例当中,所述将所述相似度大于所述相似度阈值的图像特征对应的试题确定为所述当前试题相关的推荐试题的步骤之后还包括:
根据所述相似度的大小将所述当前试题相关的推荐试题从高到低的顺序依次进行排序。
具体的,根据相似度结果从高到低排序对推荐试题依次进行排序,便于用户进行查看。
综上,本发明上述实施例当中的基于试题配图的试题搜索方法,通过获取试题中的配图图像,并将配图图像输入至预训练的分类模型当中,以判断配图图像是否为坐标系图像;后根据坐标系图像以及非坐标系图像,分别将配图图像输入至预训练的分割识别模型及特征提取模型当中以及单独输入至特征提取模型,获取配图图像的配图特征以及坐标符号,后将配图特征与对应的图像特征库中图像特征进行相似度匹配以确定与试题相关的推荐试题。即对于坐标系图像融合坐标符号和图像特征双层条件,由于坐标符号具有唯一代表性,在题库相同坐标符号下进行相似度搜索,避免了文本信息作为关键字搜索精度的问题,以及对整张试题图片文字识别,由于模糊图像导致文字识别容易错误,提升了试题搜索的准确性,解决了现有技术中在为当前试题推荐类似试题时不准确的问题。
实施例二
本实施例也提出一种基于试题配图的试题搜索方法,本实施例提出的基于试题配图的试题搜索方法与本实施例一当中的基于试题配图的试题搜索方法的不同之处在于:
步骤S10之前包括:
获取题库中试题中的所有配图,将所述所有配图分为坐标系配图和非坐标配图;
分别提取所述坐标系配图和非坐标配图中的图片特征以及对应的特征试题建立所述预设的坐标系图像特征库与预设的非坐标系图像特征库。
其中,在进行搜题前,对搜题的题库进行建立,具体的,题库包括用于坐标系图像比对的坐标系图像特征库以及用于非坐标系图像比对的非坐标系图像特征库,在具体实施时,可以事先获取题库中试题中的所有配图,后对所有配图进行分类,分别提取分类后的配图的图片特征以及获取对比的试题信息建立预设的坐标系图像特征库与预设的非坐标系图像特征库。
另外,在本发明一些可选的实施例当中,所述分别提取所述坐标系配图和非坐标配图中的图片特征以及对应的特征试题建立所述预设的坐标系图像特征库与预设的非坐标系图像特征库的步骤之后还包括:
当所述当前试题的所述配图图像为坐标系图像时,将所述当前试题配图的配图特征、坐标符号以及对应的试题信息输入至所述预设的坐标系图像特征库以对所述预设的坐标系图像特征库进行更新;
当所述当前试题的所述配图图像为非坐标系图像时,将所述当前试题配图的配图特征以及对应的试题信息输入至所述预设的非坐标系图像特征库以对所述预设的非坐标系图像特征库进行更新。
具体的,在每次搜题后利用当前试题的信息对坐标系图像特征库和非坐标系图像特征库进行更新,例如当前试题配图的配图特征、坐标符号以及配图对应的试题信息,持续更新迭代。
步骤S10包括:
获取当前试题中的配图图像,将所述当前试题的配图图像进行预处理,并将预处理后的所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像;
其中,所述预处理至少包括去噪、数据增强、大小变化以及将所述配图图像的尺寸调整为预设大小。
具体的,为了进一步的提升搜题的准确性,在获取当前试题中的配图图像后,对当前试题中的配图图像进行预处理,包括去噪、数据增强、大小变化,调整为适合深度学习模型输入大小,并将预处理后的配图图像送入训练好的分类模型当中。
综上,本发明上述实施例中提出的基于试题配图的试题搜索方法,通过获取试题中的配图图像,并将配图图像输入至预训练的分类模型当中,以判断配图图像是否为坐标系图像;后根据坐标系图像以及非坐标系图像,分别将配图图像输入至预训练的分割识别模型及特征提取模型当中以及单独输入至特征提取模型,获取配图图像的配图特征以及坐标符号,后将配图特征与对应的图像特征库中图像特征进行相似度匹配以确定与试题相关的推荐试题。即对于坐标系图像融合坐标符号和图像特征双层条件,由于坐标符号具有唯一代表性,在题库相同坐标符号下进行相似度搜索,避免了文本信息作为关键字搜索精度的问题,以及对整张试题图片文字识别,由于模糊图像导致文字识别容易错误,提升了试题搜索的准确性,解决了现有技术中在为当前试题推荐类似试题时不准确的问题。
另外,根据本发明提出的基于试题配图的试题搜索方法,至少还可以具体如下有益效果:
1、本发明基于图片特征进行搜索,解决文本信息检索时,以文字为关键字,容易遗漏相同考点,但是不同文字描述方法的试题的问题,使得推题多样性提升,得到类似配图下各种文本描述的同一类型试题。
2、本发明题库中配图的特征提前全部存储,只需要计算特征直接的相似度,搜索速度快,精度高。
实施例三
请参阅图4,所示为本发明第三实施例中提出的基于试题配图的试题搜索系统,所述系统包括:
配图图像获取模块100,用于获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像;
第一配图特征获取模块200,用于当判断到所述配图图像为坐标系图像时,则将所述配图图像分别输入至预训练的分割识别模型及特征提取模型当中,以得到所述当前试题配图的配图特征以及坐标符号;
第一相似度获取模块300,用于根据所述坐标符号在预设的坐标系图像特征库中查找与所述坐标符号相似的目标图像特征库,并获取所述配图特征与目标图像特征库中的各个图像特征之间的相似度;
第二配图特征获取模块400,用于当判断到所述配图图像为非坐标系图像时,则将所述配图图像输入至预训练的特征提取模型当中,以得到所述当前试题配图的配图特征;
第二相似度获取模块500,用于获取所述配图特征与预设的非坐标系图像特征库的各个图像特征之间的相似度;
推荐模块600,用于根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题。
进一步地,在本发明的一些可选的实施例当中,所述系统还包括:
分类模型训练模块,用于收集预设数量的试题配图图像,将所述试题配图图像分为坐标系图像和非坐标系图像,并将所述坐标系图像和非坐标系图像输入至第一预设神经网络进行深度学习训练得到所述分类模型;
分割识别模型训练模块,用于对所述坐标系图像标注横纵坐标符号,并将标注后的所述坐标系图像输入至第二预设神经网络进行深度学习训练得到所述分割识别模型;
特征提取模型训练模块,用于按照图像相似度对所述试题配图图像进行分类,并将分类后的所述试题配图图像通过深度学习模型迁移学习训练得到特征提取模型。
进一步地,在本发明一些可选的实施例当中,其中,所述系统还包括:
阈值确定模块,用于获取所述当前试题的推荐数量,并根据所述推荐数量确定所述当前试题对应的相似度阈值;
所述推荐模块具体用于:
将所述相似度大于所述相似度阈值的图像特征对应的试题确定为所述当前试题相关的推荐试题。
进一步地,在本发明的一些可选的实施例当中,所述系统还包括:
排序模块,用于根据所述相似度的大小将所述当前试题相关的推荐试题从高到低的顺序依次进行排序。
进一步地,在本发明的一些可选的实施例当中,所述系统还包括:
分配模块,用于获取题库中试题中的所有配图,将所述所有配图分为坐标系配图和非坐标配图;
建立模块,用于分别提取所述坐标系配图和非坐标配图中的图片特征以及对应的特征试题建立所述预设的坐标系图像特征库与预设的非坐标系图像特征库。
进一步地,在本发明的一些可选的实施例当中,所述系统还包括:
第一更新模块,用于当所述当前试题的所述配图图像为坐标系图像时,将所述当前试题配图的配图特征、坐标符号以及对应的试题信息输入至所述预设的坐标系图像特征库以对所述预设的坐标系图像特征库进行更新;
第二更新模块,用于当所述当前试题的所述配图图像为非坐标系图像时,将所述当前试题配图的配图特征以及对应的试题信息输入至所述预设的非坐标系图像特征库以对所述预设的非坐标系图像特征库进行更新。
进一步地,在本发明的一些可选的实施例当中,所述配图图像获取模块具体用于:
获取当前试题中的配图图像,将所述当前试题的配图图像进行预处理,并将预处理后的所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像;
其中,所述预处理至少包括去噪、数据增强、大小变化以及将所述配图图像的尺寸调整为预设大小。
上述各模块被执行时所实现的功能或操作步骤与上述方法实施例大体相同,在此不再赘述。
实施例四
本发明另一方面还提供一种可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述实施例一至二中任意一个所述的方法的步骤。
实施例五
本发明另一方面还提供一种电子设备,所述电子设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述实施例一至二中任意一个所述的方法的步骤。
以上各个实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读存储介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于试题配图的试题搜索方法,其特征在于,所述方法包括:
获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像;
若是,则将所述配图图像分别输入至预训练的分割识别模型及特征提取模型当中,以得到所述当前试题配图的坐标符号以及配图特征;
根据所述坐标符号在预设的坐标系图像特征库中查找与所述坐标符号相似的目标图像特征库,并获取所述配图特征与目标图像特征库中的各个图像特征之间的相似度;
若否,则将所述配图图像输入至预训练的特征提取模型当中,以得到所述当前试题配图的配图特征;
获取所述配图特征与预设的非坐标系图像特征库的各个图像特征之间的相似度;
根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题;
所述获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像的步骤之前还包括:
获取题库中试题中的所有配图,将所述所有配图分为坐标系图像和非坐标图像;
分别提取所述坐标系图像和非坐标图像中的图片特征以及对应的特征试题建立所述预设的坐标系图像特征库与预设的非坐标系图像特征库;
所述分别提取所述坐标系图像和非坐标图像中的图片特征以及对应的特征试题建立所述预设的坐标系图像特征库与预设的非坐标系图像特征库的步骤之后还包括:
当所述当前试题的所述配图图像为坐标系图像时,将所述当前试题配图的配图特征、坐标符号以及对应的试题信息输入至所述预设的坐标系图像特征库以对所述预设的坐标系图像特征库进行更新;
当所述当前试题的所述配图图像为非坐标系图像时,将所述当前试题配图的配图特征以及对应的试题信息输入至所述预设的非坐标系图像特征库以对所述预设的非坐标系图像特征库进行更新。
2.根据权利要求1所述的基于试题配图的试题搜索方法,其特征在于,所述获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像的步骤之前还包括:
收集预设数量的试题配图图像,将所述试题配图图像分为坐标系图像和非坐标系图像,并将所述坐标系图像和非坐标系图像输入至第一预设神经网络进行深度学习训练得到所述分类模型;
对所述坐标系图像标注横纵坐标符号,并将标注后的所述坐标系图像输入至第二预设神经网络进行深度学习训练得到所述分割识别模型;
按照图像相似度对所述试题配图图像进行分类,并将分类后的所述试题配图图像通过深度学习模型迁移学习训练得到特征提取模型。
3.根据权利要求1所述的基于试题配图的试题搜索方法,其特征在于,所述根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题的步骤之前还包括:
获取所述当前试题的推荐数量,并根据所述推荐数量确定所述当前试题对应的相似度阈值;
根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题的步骤包括:
将所述相似度大于所述相似度阈值的图像特征对应的试题确定为所述当前试题相关的推荐试题。
4.根据权利要求3所述的基于试题配图的试题搜索方法,其特征在于,所述将所述相似度大于所述相似度阈值的图像特征对应的试题确定为所述当前试题相关的推荐试题的步骤之后还包括:
根据所述相似度的大小将所述当前试题相关的推荐试题从高到低的顺序依次进行排序。
5.根据权利要求1至4中任一项所述的基于试题配图的试题搜索方法,其特征在于,所述获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像的步骤包括:
获取当前试题中的配图图像,将所述当前试题的配图图像进行预处理,并将预处理后的所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像;
其中,所述预处理至少包括去噪、数据增强、大小变化以及将所述配图图像的尺寸调整为预设大小。
6.一种基于试题配图的试题搜索方法的系统,其特征在于,所述系统包括:
配图图像获取模块,用于获取当前试题中的配图图像,并将所述配图图像输入至预训练的分类模型当中,以判断所述配图图像是否为坐标系图像;
第一配图特征获取模块,用于当判断到所述配图图像为坐标系图像时,则将所述配图图像分别输入至预训练的分割识别模型及特征提取模型当中,以得到所述当前试题配图的坐标符号以及配图特征;
第一相似度获取模块,用于根据所述坐标符号在预设的坐标系图像特征库中查找与所述坐标符号相似的目标图像特征库,并获取所述配图特征与目标图像特征库中的各个图像特征之间的相似度;
第二配图特征获取模块,用于当判断到所述配图图像为非坐标系图像时,则将所述配图图像输入至预训练的特征提取模型当中,以得到所述当前试题配图的配图特征;
第二相似度获取模块,用于获取所述配图特征与预设的非坐标系图像特征库的各个图像特征之间的相似度;
推荐模块,用于根据所述相似度从所述预设的坐标系图像特征库和预设的非坐标系图像特征库确定与所述当前试题相关的推荐试题;
分配模块,用于获取题库中试题中的所有配图,将所述所有配图分为坐标系图像和非坐标图像;
建立模块,用于分别提取所述坐标系图像和非坐标图像中的图片特征以及对应的特征试题建立所述预设的坐标系图像特征库与预设的非坐标系图像特征库;
第一更新模块,用于当所述当前试题的所述配图图像为坐标系图像时,将所述当前试题配图的配图特征、坐标符号以及对应的试题信息输入至所述预设的坐标系图像特征库以对所述预设的坐标系图像特征库进行更新;
第二更新模块,用于当所述当前试题的所述配图图像为非坐标系图像时,将所述当前试题配图的配图特征以及对应的试题信息输入至所述预设的非坐标系图像特征库以对所述预设的非坐标系图像特征库进行更新。
7.一种可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至5中任意一项所述的方法的步骤。
8.一种电子设备,其特征在于,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至5任一所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211224461.8A CN115292542B (zh) | 2022-10-09 | 2022-10-09 | 基于试题配图的试题搜索方法、系统、存储介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211224461.8A CN115292542B (zh) | 2022-10-09 | 2022-10-09 | 基于试题配图的试题搜索方法、系统、存储介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115292542A CN115292542A (zh) | 2022-11-04 |
CN115292542B true CN115292542B (zh) | 2023-01-20 |
Family
ID=83834513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211224461.8A Active CN115292542B (zh) | 2022-10-09 | 2022-10-09 | 基于试题配图的试题搜索方法、系统、存储介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115292542B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118132733B (zh) * | 2024-05-07 | 2024-07-26 | 江西风向标智能科技有限公司 | 一种试题检索方法、系统、存储介质及电子设备 |
CN118227850B (zh) * | 2024-05-23 | 2024-08-20 | 江西风向标智能科技有限公司 | 一种试题查重方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021073266A1 (zh) * | 2019-10-18 | 2021-04-22 | 平安科技(深圳)有限公司 | 基于图像检测的试题检查方法及相关设备 |
CN113283431A (zh) * | 2021-07-26 | 2021-08-20 | 江西风向标教育科技有限公司 | 一种融合深度学习与逻辑判断的智能方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108932508B (zh) * | 2018-08-13 | 2022-03-18 | 杭州大拿科技股份有限公司 | 一种题目智能识别、批改的方法和系统 |
CN109460740B (zh) * | 2018-11-15 | 2020-08-11 | 上海埃威航空电子有限公司 | 基于ais与视频数据融合的船舶身份识别方法 |
CN110348444A (zh) * | 2019-05-31 | 2019-10-18 | 浙江米猪控股有限公司 | 基于深度学习的错题收集方法、装置及设备 |
CN110728687B (zh) * | 2019-10-15 | 2022-08-02 | 卓尔智联(武汉)研究院有限公司 | 文件图像分割方法、装置、计算机设备和存储介质 |
CN113111154B (zh) * | 2021-06-11 | 2021-10-29 | 北京世纪好未来教育科技有限公司 | 相似度评估方法、答案搜索方法、装置、设备及介质 |
CN114782720A (zh) * | 2022-04-27 | 2022-07-22 | 北京达佳互联信息技术有限公司 | 文案的配图确定方法、装置、电子设备、介质及程序产品 |
-
2022
- 2022-10-09 CN CN202211224461.8A patent/CN115292542B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021073266A1 (zh) * | 2019-10-18 | 2021-04-22 | 平安科技(深圳)有限公司 | 基于图像检测的试题检查方法及相关设备 |
CN113283431A (zh) * | 2021-07-26 | 2021-08-20 | 江西风向标教育科技有限公司 | 一种融合深度学习与逻辑判断的智能方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115292542A (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115292542B (zh) | 基于试题配图的试题搜索方法、系统、存储介质及设备 | |
CN112966691B (zh) | 基于语义分割的多尺度文本检测方法、装置及电子设备 | |
CN110019843B (zh) | 知识图谱的处理方法及装置 | |
CN110717534B (zh) | 一种基于网络监督的目标分类和定位方法 | |
CN111444344B (zh) | 实体分类方法、装置、计算机设备和存储介质 | |
CN110334217B (zh) | 一种要素抽取方法、装置、设备及存储介质 | |
CN111950528B (zh) | 图表识别模型训练方法以及装置 | |
CN109408821B (zh) | 一种语料生成方法、装置、计算设备及存储介质 | |
CN110796204B (zh) | 视频标签确定方法、装置和服务器 | |
CN110059271A (zh) | 运用标签知识网络的搜索方法及装置 | |
CN112734775A (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
CN108846097B (zh) | 用户的兴趣标签表示方法、文章推荐方法、及装置、设备 | |
CN106959998B (zh) | 一种试题推荐方法及装置 | |
CN111046275A (zh) | 基于人工智能的用户标签确定方法及装置、存储介质 | |
CN112818148B (zh) | 视觉检索的排序优化方法、装置、电子设备及存储介质 | |
WO2015146113A1 (ja) | 識別辞書学習システム、識別辞書学習方法および記録媒体 | |
CN113569018A (zh) | 问答对挖掘方法及装置 | |
CN112528022A (zh) | 主题类别对应的特征词提取和文本主题类别识别方法 | |
CN113704623A (zh) | 一种数据推荐方法、装置、设备及存储介质 | |
CN111400495A (zh) | 一种基于模板特征的视频弹幕消费意图识别方法 | |
CN116049376A (zh) | 一种信创知识检索回复的方法、装置和系统 | |
CN115712855A (zh) | 一种基于自学习的标签规则产生方法及装置 | |
CN106570116B (zh) | 基于人工智能的搜索结果的聚合方法及装置 | |
CN109446330B (zh) | 网络服务平台情感倾向识别方法、装置、设备和存储介质 | |
CN113495964A (zh) | 三元组的筛选方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |