CN118227850B - 一种试题查重方法及系统 - Google Patents
一种试题查重方法及系统 Download PDFInfo
- Publication number
- CN118227850B CN118227850B CN202410644416.0A CN202410644416A CN118227850B CN 118227850 B CN118227850 B CN 118227850B CN 202410644416 A CN202410644416 A CN 202410644416A CN 118227850 B CN118227850 B CN 118227850B
- Authority
- CN
- China
- Prior art keywords
- target detection
- test questions
- algorithm
- image
- carrying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 116
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 77
- 238000002372 labelling Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 13
- 238000012552 review Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000013215 result calculation Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 239000013589 supplement Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种试题查重方法及系统，涉及教育技术领域，方法包括：选取待查重的配图试题，将配图试题进行数据标注，数据标注包括图像描述标注和目标检测标注；构建多模态模型和目标检测模型，对图像描述标注的配图试题进行多模态模型的深度理解，得到配图试题的语义描述内容，对目标检测标注的配图试题进行目标检测模型的目标检测，得到配图试题的目标检测数据；对语义描述内容和目标检测数据进行多模态数据融合，得到配图试题的综合描述内容；基于综合描述内容和配图试题，在试题数据库中查找是否有相似的试题，获得查重结果；本发明解决了现有技术中提取图像信息进行试题查重，无法捕捉深层次语义信息，导致准确率低下的问题。
Description
技术领域
本发明涉及教育技术领域，特别涉及一种试题查重方法及系统。
背景技术
试题查重技术在教育领域的发展一直都备受关注。一方面随着NLP技术的不断发展，越来越多的试题查重方法开始采用自然语言处理算法，例如词嵌入、文本相似性匹配等，以更准确地比较和分析试题文本。另一方面人工智能领域的迁移学习被广泛用于试题查重中，特别是在微调预训练的语言模型和图像处理模型上，以适应特定学科或领域的需求。
目前，试题查重技术中的一种是基于特征提取的图像处理方法，其往往忽略了图像中内容的语义信息，特别是在包含复杂场景或专业领域知识的试题中，仅仅依赖于图像的特征提取可能无法全面捕捉到图像的深层次语义，从而导致查重结果的不够精准。
发明内容
有鉴于此，本发明的目的在于提供一种试题查重方法及系统，旨在解决现有技术中提取图像信息进行试题查重，无法捕捉深层次语义信息，导致准确率低下的问题。
本发明的第一方面在于提供一种试题查重方法，所述方法包括：
选取待查重的配图试题，将所述配图试题进行数据标注，所述数据标注包括图像描述标注和目标检测标注；
构建多模态模型和目标检测模型，对图像描述标注的配图试题进行多模态模型的深度理解，得到所述配图试题的语义描述内容，对目标检测标注的配图试题进行目标检测模型的目标检测，得到配图试题的目标检测数据；
对所述语义描述内容和所述目标检测数据进行多模态数据融合，得到所述配图试题的综合描述内容；
基于所述综合描述内容和所述配图试题，在试题数据库中查找是否有相似的试题，获得查重结果。
与现有技术相比，本发明的有益效果在于：通过本发明提供的试题查重方法，能有效地提取语义信息和图像信息，提高查重准确率，具体为，选取待查重的配图试题，将所述配图试题进行数据标注，所述数据标注包括图像描述标注和目标检测标注；通过图像描述标注和目标检测标注，能有效的提取整体语义信息和目标物体的语义信息，训练出更加准确的图像识别和理解模型；构建多模态模型和目标检测模型，对图像描述标注的配图试题进行多模态模型的深度理解，得到所述配图试题的语义描述内容，对目标检测标注的配图试题进行目标检测模型的目标检测，得到配图试题的目标检测数据；通过多模态模型能更加全面的理解配图试题中的文本和图像，提高对复杂的配图试题的处理效能，通过目标检测模型，能有效地提高检测精度和检测速度，能迅速且准确地识别配图试题中的边界框信息和类别信息，提高处理的精度和效率，对所述语义描述内容和所述目标检测数据进行多模态数据融合，得到所述配图试题的综合描述内容；通过多模态数据融合，目标检测模型提供的关键元素信息可以有效地补充图像描述模型的输出，从而生成一个既全面又细致的图像解释，这种融合不仅提高了图像描述的准确性，还增强了模型对图像内容深层次理解的能力，基于所述综合描述内容和所述配图试题，在试题数据库中查找是否有相似的试题，获得查重结果，综合考虑图像内容和综合描述内容，能够在数据库中迅速检索并找到与配图试题相似的题目，这种相似题目搜索不仅仅限于图像的相似性，还包括综合描述内容上的相似性，更为全面地判定试题之间的相似关系，从而解决了提取图像信息进行试题查重，无法捕捉深层次语义信息，导致准确率低下的技术问题。
根据上述技术方案的一方面，选取待查重的配图试题，将所述配图试题进行数据标注，所述数据标注包括图像描述标注和目标检测标注的步骤，具体包括：
选取待查重的配图试题，将所述配图试题进行图像描述标注，得到并标注配图试题的类型信息和元素信息；
将所述配图试题进行目标检测标注，根据目标物体的形状信息和位置信息，确定目标物体的边界框信息，根据目标物体的外观和特征确定目标物体的类别信息，标注所述边界框信息和所述类别信息。
根据上述技术方案的一方面，构建多模态模型和目标检测模型，对图像描述标注的配图试题进行多模态模型的深度理解，得到所述配图试题的语义描述内容，对目标检测标注的配图试题进行目标检测模型的目标检测，得到配图试题的目标检测数据的步骤，具体包括：
基于VisualGLM算法构建多模态模型，所述VisualGLM算法包括Transformer算法和QFormer算法以及ChatGLM-6B算法，根据所述类型信息和所述元素信息，对图像描述标注的配图试题进行多模态模型的深度理解，通过所述Transformer算法进行图像特征提取，通过所述ChatGLM-6B算法进行语义特征提取，再通过所述QFormer算法将所述图像特征和所述语义特征融合，得到所述配图试题的语义描述内容；
基于YOLOv8算法构建目标检测模型，根据所述边界框信息和所述类别信息，对目标检测标注的配图试题进行目标检测模型的目标检测，通过YOLOv8算法的边界框回归算法和类别预测算法，得到配图试题的目标检测数据。
根据上述技术方案的一方面，基于所述综合描述内容和所述配图试题，在试题数据库中查找是否有相似的试题，获得查重结果的步骤，具体包括：
将所述配图试题中的图像转换为特征向量，使用余弦相似度计算图像相似度，计算公式为：
，
其中，为配图试题的特征向量，为试题数据库中的试题的特征向量，为图像相似度；
将所述综合描述内容与所述试题数据库中的试题进行编辑距离计算，得到文本相似度；
将所述图像相似度和所述文本相似度进行查重结果计算，得到查重结果。
根据上述技术方案的一方面，将所述图像相似度和所述文本相似度进行查重结果计算，得到查重结果的步骤，具体包括：
,
其中，P为查重结果，为文本相似度，、为权重系数。
根据上述技术方案的一方面，所述方法还包括：
将所述配图试题与查重结果最优值的试题进行关联，并将绑定所述查重结果。
根据上述技术方案的一方面，所述方法还包括：
通过对比所述语义描述内容和所述目标检测数据以及配图试题的图像，对所述综合描述内容进行校对和修正，更新所述综合描述内容。
本发明的第二方面在于提供一种试题查重系统，用于执行上述任意一项所述的试题查重方法，所述系统包括：
数据标注模块，用于选取待查重的配图试题，将所述配图试题进行数据标注，所述数据标注包括图像描述标注和目标检测标注；
模型构建模块，用于构建多模态模型和目标检测模型，对图像描述标注的配图试题进行多模态模型的深度理解，得到所述配图试题的语义描述内容，对目标检测标注的配图试题进行目标检测模型的目标检测，得到配图试题的目标检测数据；
数据融合模块，用于对所述语义描述内容和所述目标检测数据进行多模态数据融合，得到所述配图试题的综合描述内容；
查重结果获取模块，用于基于所述综合描述内容和所述配图试题，在试题数据库中查找是否有相似的试题，获得查重结果。
本发明的第三方面的在于提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任意一项所述的试题查重方法的步骤。
本发明的第四方面的在于提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述的试题查重方法的步骤。
附图说明
图1为本发明第一实施例中试题查重方法的流程图；
图2为本发明第二实施例中试题查重系统的结构框图；
附图元器件符号说明：
数据标注模块100，模型构建模块200，数据融合模块300，查重结果获取模块400；
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列类型的任意的和所有的组合。
实施例一
请参阅图1，所示为本发明第一实施例中的试题查重方法，所述方法包括步骤S10~S13。
步骤S10，选取待查重的配图试题，将所述配图试题进行数据标注，所述数据标注包括图像描述标注和目标检测标注；
具体为，选取待查重的配图试题，将所述配图试题进行图像描述标注，得到并标注配图试题的类型信息和元素信息；
在本实施例中，例如，一个电路图的描述可能包括“这是一个电路图，包含一个开关、一个灯泡、一个电压表、一个电流表”。这种标注不仅提供了图像的基本类型信息，还详细描述了图像中的各个元素及其关系（即元素信息）。这对于训练模型识别和理解图像中的复杂细节至关重要。
将所述配图试题进行目标检测标注，根据目标物体的形状信息和位置信息，确定目标物体的边界框信息，根据目标物体的外观和特征确定目标物体的类别信息，标注所述边界框信息和所述类别信息。
在本实施例中，需要根据预设的标注对象进行目标检测级别的标注。例如，如果图像中包含“开关”、“灯泡”、“电压表”等元素，标注者需要准确地识别并标注这些元素的边界框信息和类别信息。这种精细的标注对于训练模型在特定场景中识别关键元素非常重要。其中，类别信息以文本形式标注在文件中，使用类别编号或者类别名称进行标注。这种方式使得数据集具有了结构化的标注信息，为机器学习算法提供了有力的训练基础。
需要说明的是的，通过精确的图像和对应文字描述的标注，可以训练出更加准确的图像识别和理解模型。这种类型的标注提供了丰富的上下文信息，有助于模型理解图像中的具体内容和场景。
步骤S11，构建多模态模型和目标检测模型，对图像描述标注的配图试题进行多模态模型的深度理解，得到所述配图试题的语义描述内容，对目标检测标注的配图试题进行目标检测模型的目标检测，得到配图试题的目标检测数据；
具体为，基于VisualGLM算法构建多模态模型，所述VisualGLM算法包括Transformer算法和QFormer算法以及ChatGLM-6B算法，根据所述类型信息和所述元素信息，对图像描述标注的配图试题进行多模态模型的深度理解，通过所述Transformer算法进行图像特征提取，通过所述ChatGLM-6B算法进行语义特征提取，再通过所述QFormer算法将所述图像特征和所述语义特征融合，得到所述配图试题的语义描述内容；
在本实施例中，在预训练阶段，VisualGLM算法使用了大规模的中英文图文对数据集，如CogView数据集和精选的LAION+CC12M英文图文对。通过这些数据，模型学习了图像和文本之间的关联性，并将视觉信息对齐到ChatGLM-6B算法的语义特征。
特征融合：QFormer算法是模型中的关键组件，QFormer算法能够将图像特征和语义特征融合在一起，得到所述配图试题的语义描述内容，为后续的语言生成任务提供丰富的上下文信息。
微调：在微调阶段，VisualGLM算法使用高质量的图文指令数据对进行训练，进一步优化模型以生成符合人类偏好的答案，微调数据集即为收集到的试题配图和文字描述对。这一阶段的训练目标包括自回归损失和对比损失，确保模型能够根据图像生成正确的文本描述，并使图像特征和语义特征对齐。
多模态交互：VisualGLM算法能够处理图像和文本的输入，并生成相应的文本输出。当用户提供一张图片时，模型首先通过Transformer算法提取图像特征，然后通过QFormer算法将这些特征与语义特征融合，最终生成描述性的文本得到所述配图试题的语义描述内容。
基于YOLOv8算法构建目标检测模型，根据所述边界框信息和所述类别信息，对目标检测标注的配图试题进行目标检测模型的目标检测，通过YOLOv8算法的边界框回归算法和类别预测算法，得到配图试题的目标检测数据。
在本实施例中，YOLOv8算法通过单次前向传播，即可在图像中识别并定位多个对象。
边界框回归算法是YOLOv8算法中用于精确定位物体的关键技术。YOLOv8算法首先将输入图像划分为一个个小格子，每个格子负责预测中心点落在该格子内的物体。对于每个物体，YOLOv8算法会预测以下边界框参数：
中心点坐标：表示物体中心相对于格子的位置。
宽度和高度：表示物体的宽度和高度。
边界框置信度：表示预测边界框与实际物体边界框的匹配程度。
这些参数通过一个回归模型来预测，该模型学习如何根据输入图像调整边界框的位置和大小，使其更准确地覆盖目标物体。
类别预测算法：除了定位物体，YOLOv8算法还需要识别物体的类别。YOLOv8算法在每个格子中还会预测一个类别概率向量，该向量包含了模型对于每个可能类别的置信度。类别预测算法通常基于以下两个方面：
类别概率：对于每个物体类别，YOLOv8算法会预测一个概率值，表示该格子中的物体属于该类别的可能性。
类别置信度：除了预测概率，YOLOv8算法还会预测一个置信度值，表示格子中确实存在物体且模型对其类别预测的确定程度。
类别预测算法的输出是一个类别概率矩阵，每个格子都有一个与之对应的矩阵。
综合边界框回归算法和类别预测算法：YOLOv8算法结合边界框回归算法和类别预测算法的结果来识别图像中的物体。具体来说，它会计算每个格子中的边界框置信度和类别概率的乘积，这个乘积表示格子中存在特定类别物体的概率。然后，YOLOv8算法会应用非极大值抑制来去除重叠的边界框，确保每个物体只被检测一次。
通过这种方式，YOLOv8算法能够在单次前向传播中快速准确地识别和定位图像中的多个物体。
需要说明的是，通过多模态模型能更加全面的理解配图试题中的文本和图像，提高对复杂的配图试题的处理效能；同时，通过目标检测模型，能有效地提高检测精度和检测速度，能迅速且准确地识别配图试题中的边界框信息和类别信息，提高处理的精度和效率。
步骤S12，对所述语义描述内容和所述目标检测数据进行多模态数据融合，得到所述配图试题的综合描述内容；
在本实施例中，例如，使用多模态模型对配图生成一段文字描述，例如，“这是实验图，在做小灯泡通电试验”。这一步骤提供了对图像整体内容和场景的理解。接着，使用目标检测模型对同一幅图像进行分析，以识别和分类图像中的具体元素，如“灯泡1，开关1，尺子*1”。这一步骤则提供了图像中具体元素的详细信息。
最后，将这两个步骤的结果结合起来，生成一个综合性的描述。例如，最终的输出结果可能是：“这是一个实验图，在做小灯泡通电试验，具体元素为一个灯泡，一个开关，一个尺子。”这种融合方法不仅提供了图像的整体描述，还详细列出了图像中的关键元素，从而增强了图像内容的解释力。
需要说明的是，通过多模态数据融合，目标检测模型提供的关键元素信息可以有效地补充图像描述模型的输出，从而生成一个既全面又细致的图像解释。这种融合不仅提高了图像描述的准确性，还增强了模型对图像内容深层次理解的能力。
另外，通过对比所述语义描述内容和所述目标检测数据以及配图试题的图像，对所述综合描述内容进行校对和修正，更新所述综合描述内容。提高鲁棒性和准确性。
步骤S13，基于所述综合描述内容和所述配图试题，在试题数据库中查找是否有相似的试题，获得查重结果。
具体为，将所述配图试题中的图像转换为特征向量，使用余弦相似度计算图像相似度，计算公式为：
，
其中，为配图试题的特征向量，为试题数据库中的试题的特征向量，为图像相似度；
在本实施例中，余弦相似度的取值范围[-1, 1]，值越接近1表示两个向量越相似，越接近-1表示两个向量越不相似，接近0表示两个向量之间没有明显的相似性或差异。
将所述综合描述内容与所述试题数据库中的试题进行编辑距离计算，得到文本相似度；
其中，在本实施例中，编辑距离衡量的是将一个字符串转换为另一个字符串所需的最少编辑操作（如插入、删除或替换）次数。编辑距离越小，两个字符串越相似。
将所述图像相似度和所述文本相似度进行查重结果计算，得到查重结果。
具体为，查重结果的计算公式为：
,
其中，P为查重结果，为文本相似度，、为权重系数。
综合考虑图像内容和综合描述内容，能够在数据库中迅速检索并找到与配图试题相似的题目。这种相似题目搜索不仅仅限于图像的相似性，还包括综合描述内容上的相似性，更为全面地判定试题之间的相似关系。
所述方法还包括：
将所述配图试题与查重结果最优值的试题进行关联，并将绑定所述查重结果。
具体为，通过将查重结果与具体的试题关联起来，能够为后续的管理和分析提供更为详细的信息。每个试题都被赋予唯一的题目ID，并与其相应的内容建立关联。这意味着不仅仅给出相似度的抽象指标，还将具体的题目信息与查重结果进行绑定。这种关联使得教育管理者或出题方能够迅速准确地了解哪些具体的试题存在相似性，以及这种相似性的具体表现是什么。这为进一步的分析、调整和管理提供了有力的支持。
综上，本发明上述实施例中的试题查重方法，能有效地提取语义信息和图像信息，提高查重准确率，具体为，选取待查重的配图试题，将所述配图试题进行数据标注，所述数据标注包括图像描述标注和目标检测标注；通过图像描述标注和目标检测标注，能有效的提取整体语义信息和目标物体的语义信息，训练出更加准确的图像识别和理解模型；构建多模态模型和目标检测模型，对图像描述标注的配图试题进行多模态模型的深度理解，得到所述配图试题的语义描述内容，对目标检测标注的配图试题进行目标检测模型的目标检测，得到配图试题的目标检测数据；通过多模态模型能更加全面的理解配图试题中的文本和图像，提高对复杂的配图试题的处理效能，通过目标检测模型，能有效地提高检测精度和检测速度，能迅速且准确地识别配图试题中的边界框信息和类别信息，提高处理的精度和效率，对所述语义描述内容和所述目标检测数据进行多模态数据融合，得到所述配图试题的综合描述内容；通过多模态数据融合，目标检测模型提供的关键元素信息可以有效地补充图像描述模型的输出，从而生成一个既全面又细致的图像解释，这种融合不仅提高了图像描述的准确性，还增强了模型对图像内容深层次理解的能力，基于所述综合描述内容和所述配图试题，在试题数据库中查找是否有相似的试题，获得查重结果，综合考虑图像内容和综合描述内容，能够在数据库中迅速检索并找到与配图试题相似的题目，这种相似题目搜索不仅仅限于图像的相似性，还包括综合描述内容上的相似性，更为全面地判定试题之间的相似关系，从而解决了提取图像信息进行试题查重，无法捕捉深层次语义信息，导致准确率低下的技术问题。
实施例二
请参阅图2，所示为本发明第二实施例中提出的试题查重系统，所述系统包括：
数据标注模块100，用于选取待查重的配图试题，将所述配图试题进行数据标注，所述数据标注包括图像描述标注和目标检测标注；
模型构建模块200，用于构建多模态模型和目标检测模型，对图像描述标注的配图试题进行多模态模型的深度理解，得到所述配图试题的语义描述内容，对目标检测标注的配图试题进行目标检测模型的目标检测，得到配图试题的目标检测数据；
数据融合模块300，用于对所述语义描述内容和所述目标检测数据进行多模态数据融合，得到所述配图试题的综合描述内容；
查重结果获取模块400，用于基于所述综合描述内容和所述配图试题，在试题数据库中查找是否有相似的试题，获得查重结果。
综上，本发明上述实施例中的试题查重系统，能有效地提取语义信息和图像信息，提高查重准确率，具体为，通过数据标注模块利用图像描述标注和目标检测标注，能有效的提取整体语义信息和目标物体的语义信息，训练出更加准确的图像识别和理解模型；通过模型构建模块利用多模态模型能更加全面的理解配图试题中的文本和图像，提高对复杂的配图试题的处理效能，通过目标检测模型，能有效地提高检测精度和检测速度，能迅速且准确地识别配图试题中的边界框信息和类别信息，提高处理的精度和效率，通过数据融合模块，使得目标检测模型提供的关键元素信息可以有效地补充图像描述模型的输出，从而生成一个既全面又细致的图像解释，这种融合不仅提高了图像描述的准确性，还增强了模型对图像内容深层次理解的能力，通过查重结果获取模块综合考虑图像内容和综合描述内容，能够在数据库中迅速检索并找到与配图试题相似的题目，这种相似题目搜索不仅仅限于图像的相似性，还包括综合描述内容上的相似性，更为全面地判定试题之间的相似关系，从而解决了提取图像信息进行试题查重，无法捕捉深层次语义信息，导致准确率低下的技术问题。
实施例三
本发明另一方面还提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述实施例一中所述的方法的步骤。
实施例四
本发明另一方面还提供一种电子设备，所述电子设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例一中所述的方法的步骤。
以上各个实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种试题查重方法，其特征在于，所述方法包括：
选取待查重的配图试题，将所述配图试题进行数据标注，所述数据标注包括图像描述标注和目标检测标注，包括：
选取待查重的配图试题，将所述配图试题进行图像描述标注，得到并标注配图试题的类型信息和元素信息，
将所述配图试题进行目标检测标注，根据目标物体的形状信息和位置信息，确定目标物体的边界框信息，根据目标物体的外观和特征确定目标物体的类别信息，标注所述边界框信息和所述类别信息；
构建多模态模型和目标检测模型，对图像描述标注的配图试题进行多模态模型的深度理解，得到所述配图试题的语义描述内容，对目标检测标注的配图试题进行目标检测模型的目标检测，得到配图试题的目标检测数据，包括：
基于VisualGLM算法构建多模态模型，所述VisualGLM算法包括Transformer算法和QFormer算法以及ChatGLM-6B算法，根据所述类型信息和所述元素信息，对图像描述标注的配图试题进行多模态模型的深度理解，通过所述Transformer算法进行图像特征提取，通过所述ChatGLM-6B算法进行语义特征提取，再通过所述QFormer算法将所述图像特征和所述语义特征融合，得到所述配图试题的语义描述内容，
基于YOLOv8算法构建目标检测模型，根据所述边界框信息和所述类别信息，对目标检测标注的配图试题进行目标检测模型的目标检测，通过YOLOv8算法的边界框回归算法和类别预测算法，得到配图试题的目标检测数据；
对所述语义描述内容和所述目标检测数据进行多模态数据融合，得到所述配图试题的综合描述内容；
基于所述综合描述内容和所述配图试题，在试题数据库中查找是否有相似的试题，获得查重结果。
2.根据权利要求1所述的试题查重方法，其特征在于，基于所述综合描述内容和所述配图试题，在试题数据库中查找是否有相似的试题，获得查重结果的步骤，具体包括：
将所述配图试题中的图像转换为特征向量，使用余弦相似度计算图像相似度，计算公式为：
，
其中，为配图试题的特征向量，为试题数据库中的试题的特征向量，为图像相似度；
将所述综合描述内容与所述试题数据库中的试题进行编辑距离计算，得到文本相似度；
将所述图像相似度和所述文本相似度进行查重结果计算，得到查重结果。
3.根据权利要求2所述的试题查重方法，其特征在于，将所述图像相似度和所述文本相似度进行查重结果计算，得到查重结果的步骤，具体包括：
,
其中，P为查重结果，为文本相似度，、为权重系数。
4.根据权利要求1所述的试题查重方法，其特征在于，所述方法还包括：
将所述配图试题与查重结果最优值的试题进行关联，并将绑定所述查重结果。
5.根据权利要求1所述的试题查重方法，其特征在于，所述方法还包括：
通过对比所述语义描述内容和所述目标检测数据以及配图试题的图像，对所述综合描述内容进行校对和修正，更新所述综合描述内容。
6.一种试题查重系统，其特征在于，用于执行如权利要求1至5中任意一项所述的试题查重方法，所述系统包括：
数据标注模块，用于选取待查重的配图试题，将所述配图试题进行数据标注，所述数据标注包括图像描述标注和目标检测标注，包括：
选取待查重的配图试题，将所述配图试题进行图像描述标注，得到并标注配图试题的类型信息和元素信息，
将所述配图试题进行目标检测标注，根据目标物体的形状信息和位置信息，确定目标物体的边界框信息，根据目标物体的外观和特征确定目标物体的类别信息，标注所述边界框信息和所述类别信息；
模型构建模块，用于构建多模态模型和目标检测模型，对图像描述标注的配图试题进行多模态模型的深度理解，得到所述配图试题的语义描述内容，对目标检测标注的配图试题进行目标检测模型的目标检测，得到配图试题的目标检测数据，包括：
基于VisualGLM算法构建多模态模型，所述VisualGLM算法包括Transformer算法和QFormer算法以及ChatGLM-6B算法，根据所述类型信息和所述元素信息，对图像描述标注的配图试题进行多模态模型的深度理解，通过所述Transformer算法进行图像特征提取，通过所述ChatGLM-6B算法进行语义特征提取，再通过所述QFormer算法将所述图像特征和所述语义特征融合，得到所述配图试题的语义描述内容，
基于YOLOv8算法构建目标检测模型，根据所述边界框信息和所述类别信息，对目标检测标注的配图试题进行目标检测模型的目标检测，通过YOLOv8算法的边界框回归算法和类别预测算法，得到配图试题的目标检测数据；
数据融合模块，用于对所述语义描述内容和所述目标检测数据进行多模态数据融合，得到所述配图试题的综合描述内容；
查重结果获取模块，用于基于所述综合描述内容和所述配图试题，在试题数据库中查找是否有相似的试题，获得查重结果。
7.一种可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任意一项所述的试题查重方法的步骤。
8.一种电子设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至5中任意一项所述的试题查重方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410644416.0A CN118227850B (zh) | 2024-05-23 | 2024-05-23 | 一种试题查重方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410644416.0A CN118227850B (zh) | 2024-05-23 | 2024-05-23 | 一种试题查重方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118227850A CN118227850A (zh) | 2024-06-21 |
| CN118227850B true CN118227850B (zh) | 2024-08-20 |
Family
ID=91498301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410644416.0A Active CN118227850B (zh) | 2024-05-23 | 2024-05-23 | 一种试题查重方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118227850B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108376132A (zh) * | 2018-03-16 | 2018-08-07 | 中国科学技术大学 | 相似试题的判定方法及系统 |
| CN112231491A (zh) * | 2020-10-20 | 2021-01-15 | 中国科学技术大学 | 基于知识结构的相似试题识别方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9836671B2 (en) * | 2015-08-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discovery of semantic similarities between images and text |
| CN113051886B (zh) * | 2021-03-25 | 2023-12-01 | 科大讯飞股份有限公司 | 一种试题查重方法、装置、存储介质及设备 |
| WO2023272660A1 (zh) * | 2021-06-30 | 2023-01-05 | 东莞市小精灵教育软件有限公司 | 试题图片优化方法、装置、计算机设备及存储介质 |
| CN113688303A (zh) * | 2021-08-24 | 2021-11-23 | 深圳市亚太未来教育科技发展有限公司 | 一种基于图像识别的试题搜索方法和系统 |
| CN113850235B (zh) * | 2021-11-26 | 2022-03-04 | 北京世纪好未来教育科技有限公司 | 一种文本处理方法、装置、设备及介质 |
| CN114048354B (zh) * | 2022-01-10 | 2022-04-26 | 广州启辰电子科技有限公司 | 基于多元表征和度量学习的试题检索方法、装置及介质 |
| CN114840705B (zh) * | 2022-04-27 | 2024-04-19 | 中山大学 | 一种基于多模态预训练模型的组合商品检索方法及系统 |
| CN115018449A (zh) * | 2022-05-16 | 2022-09-06 | 深圳职业技术学院 | 基于LabelMe的数据标注作业和试卷的评阅方法及系统 |
| CN115292542B (zh) * | 2022-10-09 | 2023-01-20 | 江西风向标智能科技有限公司 | 基于试题配图的试题搜索方法、系统、存储介质及设备 |
| CN115935969A (zh) * | 2023-01-10 | 2023-04-07 | 西安电子科技大学 | 基于多模态信息融合的异构数据特征提取方法 |
| CN116680422A (zh) * | 2023-07-31 | 2023-09-01 | 山东山大鸥玛软件股份有限公司 | 一种多模态题库资源查重方法、系统、装置及存储介质 |
| CN117390282A (zh) * | 2023-11-02 | 2024-01-12 | 广西师范大学 | 一种综合题目语义和难度的试题推荐神经网络模型 |
-
2024
- 2024-05-23 CN CN202410644416.0A patent/CN118227850B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108376132A (zh) * | 2018-03-16 | 2018-08-07 | 中国科学技术大学 | 相似试题的判定方法及系统 |
| CN112231491A (zh) * | 2020-10-20 | 2021-01-15 | 中国科学技术大学 | 基于知识结构的相似试题识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118227850A (zh) | 2024-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12093306B2 (en) | Automatically detecting user-requested objects in digital images | |
| CN102902821B (zh) | 基于网络热点话题的图像高级语义标注、检索方法及装置 | |
| CN107526799A (zh) | 一种基于深度学习的知识图谱构建方法 | |
| CN106844340B (zh) | 基于人工智能的新闻摘要生成和显示方法、装置及系统 | |
| CN110209832B (zh) | 上下位关系的判别方法、系统和计算机设备 | |
| CN111190997A (zh) | 一种使用神经网络和机器学习排序算法的问答系统实现方法 | |
| CN112711660A (zh) | 文本分类样本的构建方法和文本分类模型的训练方法 | |
| CN108804591A (zh) | 一种病历文本的文本分类方法及装置 | |
| CN114722822B (zh) | 命名实体识别方法、装置、设备和计算机可读存储介质 | |
| CN110968708A (zh) | 一种教育信息资源属性标注方法及系统 | |
| CN116821318A (zh) | 基于大语言模型的业务知识推荐方法、装置及存储介质 | |
| CN113919366A (zh) | 一种面向电力变压器知识问答的语义匹配方法和装置 | |
| CN114647713A (zh) | 基于虚拟对抗的知识图谱问答方法、设备及存储介质 | |
| CN115544303A (zh) | 用于确定视频的标签的方法、装置、设备及介质 | |
| CN116611071A (zh) | 一种基于多模态的函数级漏洞检测的方法 | |
| CN113157959A (zh) | 基于多模态主题补充的跨模态检索方法、装置及系统 | |
| Zhang et al. | Application and analysis of image recognition technology based on Artificial Intelligence--machine learning algorithm as an example | |
| CN117689963B (zh) | 一种基于多模态预训练模型的视觉实体链接方法 | |
| CN118227850B (zh) | 一种试题查重方法及系统 | |
| CN117216617A (zh) | 文本分类模型训练方法、装置、计算机设备和存储介质 | |
| CN115964484A (zh) | 基于多标签分类模型实现的法律多意图识别方法和装置 | |
| CN114417860A (zh) | 一种信息检测方法、装置及设备 | |
| CN113282781A (zh) | 图像检索方法及装置 | |
| CN105808522A (zh) | 一种语义联想的方法及装置 | |
| CN118015402B (zh) | 小样本迁移目标检测模型训练方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |