CN112926571A - 一种基于深度学习的公式图片识别判题系统 - Google Patents

一种基于深度学习的公式图片识别判题系统 Download PDF

Info

Publication number
CN112926571A
CN112926571A CN202110365366.9A CN202110365366A CN112926571A CN 112926571 A CN112926571 A CN 112926571A CN 202110365366 A CN202110365366 A CN 202110365366A CN 112926571 A CN112926571 A CN 112926571A
Authority
CN
China
Prior art keywords
picture
formula
unit
module
latex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110365366.9A
Other languages
English (en)
Inventor
王钰
钱锟
缑允卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongjiao Yunzhi Digital Technology Co ltd
Original Assignee
Zhongjiao Yunzhi Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongjiao Yunzhi Digital Technology Co ltd filed Critical Zhongjiao Yunzhi Digital Technology Co ltd
Priority to CN202110365366.9A priority Critical patent/CN112926571A/zh
Publication of CN112926571A publication Critical patent/CN112926571A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于深度学习的公式图片识别判题系统，包括中央处理模块，用于读取指令，对指令译码并执行指令；图像录入模块用于采集和录入图像；科目分类模块用于将题目分类成不同的科目；公式识别模块用于对图片进行识别得到Latex语言；数据转化模块用于将得到的Latex语言转换Python能够直接识别的sympy语法格式；答案对比模块用于与正确答案相对比，得到学生的各个题目的作答情况。本方案设置科目分类模块，用于将题目分类成不同的科目，在识别时，直接调用相应科目的数据模型进行对比识别，大幅提高不同科目之间的公式识别的准确率。

Description

一种基于深度学习的公式图片识别判题系统
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种基于深度学习的公式图片识别判题系统。
背景技术
随着科技的发展，AI技术越来越多的在中学老师之间得到应用，我们通过AI等技术手段为教学赋能。
OCR文字识别是计算机视觉研究领域的分支之一，归属于模式识别和人工智能，是计算机科学的重要组成部分。它是利用光学技术和计算机技术把印在或写在纸上的文字读取出来，并转换成一种计算机能够接受、人又可以理解的格式。OCR技术是实现文字高速录入的一项关键技术。
在教师教学的过程中，为了能够提高教师试题录入效率，减少阅卷压力。使用了OCR技术帮助教师进行试题录入和阅卷，自动识别图片中题目信息和学生的答案信息。而在数学、物理、化学等科目的试卷中存在大量的学生作答的手写体公式，如何对试卷中学生答案的手写体公式进行识别，则成了智能阅卷的难点之一。
在具体使用时，可以利用深度学习中的LSTM网络建立模型，将数学公式图片使用循环神经网络转为序列识别问题，通过序列识别进而识别出图片中公式的Latex语言格式，这种方法在多种类型的公式共存的情况下如：数学公式、物理公式、化学公式，由于不同公式的特征不同，识别率不高，不具有普适性。
发明内容
本申请的主要目的在于提供一种基于深度学习的公式图片识别判题系统，以改善相关技术中的问题。
为了实现上述目的，本申请提供了一种基于深度学习的公式图片识别判题系统，包括：
中央处理模块，用于读取指令，对指令译码并执行指令；
图像录入模块，所述图像录入模块和中央处理模块电性连接，用于采集和录入图像；
科目分类模块，所述科目分类模块和中央处理模块电性连接，用于将题目分类成不同的科目；
公式识别模块，所述公式识别模块和所述中央处理模块电性连接，用于对图片进行识别得到Latex语言；
数据转化模块，所述数据转化模块和所述中央处理模块电性连接，用于将得到的Latex语言转换Python能够直接识别的sympy语法格式；
答案对比模块，所述答案对比模块和所述中央处理模块电性连接，用于与正确答案相对比，得到学生的各个题目的作答情况。
在本申请的一种实施例中，所述图像录入模块包括灰度识别单元、灰度处理单元、图片矫正单元和阈值分割单元；
所述灰度识别单元用于对图片进行灰度化处理，得到灰度图片；
所述灰度处理单元用于得到灰度直方图均衡化提升图片亮度；
所述图片矫正单元通过霍夫变换对图片倾斜的情况进行矫正；
所述阈值分割单元阈值分割得到图片中手写体公式的主体位置并切割出来，填入到预设的固定大小的空白图片中。
在本申请的一种实施例中，所述图像录入模块的使用方法包括以下步骤：
S1.二值化，使用大津阈值法得到，背景为白色，字体为黑色的二值化图像；
S2.倾斜矫正，利用霍夫变换的原理检测图片的倾斜角度，并进行矫正；
S3.阈值分割，截取图片中手写字体的主体部分，删除空白部分；
S4.改变图片大小，判断图片中手写体部分的尺寸大小，如果过小或过大均需要对图片进行放大或缩小操作，之后将缩放后的图片，填入到预设尺寸的空白图片中，方便后续模型识别。
在本申请的一种实施例中，所述科目分类模块包括数据库单元；
所述数据库单元设置分类模型，可以对预处理过的图片进行图片分类，得到图片所对应的类别，进而可以判断后续应使用哪种公式识别模型。
在本申请的一种实施例中，所述科目分类模块包括科目设置单元，用户可通过科目设置单元设置待识别的科目，从而直接对科目进行识别；
所述科目分类模块包括级别设置单元，将科目分为若干个级别，对于低年级的公式进行识别时，可屏蔽高年级的知识，可进一步简化识别的难度。
在本申请的一种实施例中，所述公式识别模块包括Latex语言转换单元、特征向量提取单元、向量筛选单元、对照单元、结果提取单元；
Latex语言转换单元采集到不同科目的手写体图片，分别进行图片预处理，图片中公式所对应的Latex语言进行预处理得到Latex语言的字符集，得到公式图片数据集，和图片所对应的Latex语言的标签数据集；
特征向量提取单元利用Seq2Seq模型，其编码器端使用的是卷积神经网络提取预处理后的图片特征；其解码器是循环神经网络进行的解码得到图片特征所对应的向量；
向量筛选单元；使用Attention(注意力机制)将图片特征向量进一步概率权重计算，突出其中重要的特征向量；
所述对照单元对得到的特征向量经过Beam Search(束搜索)将得到的特征向量与Latex语言的字符集对应，得到图片中Latex语言；使用该神经网络对不同科目的数据集进行训练，得到不同科目的识别模型；
所述结果提取单元根据图片分类模型判断的结果，使用不同科目的公式识别模型进行预处理后的手写体公式的图片识别，得到识别的Latex语言。
在本申请的一种实施例中，所述数据转化模块将Latex语言中的关键词和特殊符号与python中对应关键词和特殊符号一一对应并替换，得到python能够正确识别的sympy格式的公式语法。
在本申请的一种实施例中，所述答案对比模块包括相同数据替换库；
所述相同数据替换库中设置相同意义的字符作为一组；形式不同但含义相同的字符可相互替换。
在本申请的一种实施例中，所述答案对比模块包括运算律替换单元，对于字符不同但含义相同的公式进行替换。
与现有技术相比，本申请的有益效果是：
1.通过上述设计的基于深度学习的公式图片识别判题系统，使用时，设置科目分类模块，用于将题目分类成不同的科目，在识别时，直接调用相应科目的数据模型进行对比识别，大幅提高不同科目之间的公式识别的准确率；
2.通过上述设计的基于深度学习的公式图片识别判题系统，使用时，相同数据替换库，相同数据替换库中设置相同意义的字符作为一组；形式不同但含义相同的字符可相互替换；设置运算律替换单元所述答案对比模块包括运算律替换单元，对于字符不同但含义相同的公式进行替换。
附图说明
图1为根据本申请实施例提供的基于深度学习的公式图片识别判题系统的结构框图；
图2为根据本申请实施例提供的基于深度学习的公式图片识别判题系统的图像录入模块的结构框图；
图3为根据本申请实施例提供的基于深度学习的公式图片识别判题系统的图像录入模块的使用流程框图；
图4为根据本申请实施例提供的基于深度学习的公式图片识别判题系统的实施例1的科目分类模块的结构示意图；
图5为根据本申请实施例提供的基于深度学习的公式图片识别判题系统的实施例2的科目分类模块的结构框图；
图6为根据本申请实施例提供的基于深度学习的公式图片识别判题系统的公式识别模块的结构框图；
图7为根据本申请实施例提供的基于深度学习的公式图片识别判题系统的答案对比模块的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
另外，术语“多个”的含义应为两个以及两个以上。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例1
请参阅图1、图2、图3、图4、图6和图7，本申请提供了一种基于深度学习的公式图片识别判题系统，包括：
中央处理模块，用于读取指令，对指令译码并执行指令；
图像录入模块，所述图像录入模块和中央处理模块电性连接，用于采集和录入图像；
科目分类模块，所述科目分类模块和中央处理模块电性连接，用于将题目分类成不同的科目；
公式识别模块，所述公式识别模块和所述中央处理模块电性连接，用于对图片进行识别得到Latex语言；
数据转化模块，所述数据转化模块和所述中央处理模块电性连接，用于将得到的Latex语言转换Python能够直接识别的sympy语法格式；
答案对比模块，所述答案对比模块和所述中央处理模块电性连接，用于与正确答案相对比，得到学生的各个题目的作答情况。
具体的，所述图像录入模块包括灰度识别单元、灰度处理单元、图片矫正单元和阈值分割单元；
所述灰度识别单元用于对图片进行灰度化处理，得到灰度图片；
所述灰度处理单元用于得到灰度直方图均衡化提升图片亮度；
所述图片矫正单元通过霍夫变换对图片倾斜的情况进行矫正；
所述阈值分割单元阈值分割得到图片中手写体公式的主体位置并切割出来，填入到预设的固定大小的空白图片中。
具体的，所述图像录入模块的使用方法包括以下步骤：
S1.二值化，使用大津阈值法得到，背景为白色，字体为黑色的二值化图像；
S2.倾斜矫正，利用霍夫变换的原理检测图片的倾斜角度，并进行矫正；
S3.阈值分割，截取图片中手写字体的主体部分，删除空白部分；
S4.改变图片大小，判断图片中手写体部分的尺寸大小，如果过小或过大均需要对图片进行放大或缩小操作，之后将缩放后的图片，填入到预设尺寸的空白图片中，方便后续模型识别。
具体的，所述科目分类模块包括数据库单元；
所述数据库单元设置分类模型，可以对预处理过的图片进行图片分类，得到图片所对应的类别，进而可以判断后续应使用哪种公式识别模型。
具体的，所述公式识别模块包括Latex语言转换单元、特征向量提取单元、向量筛选单元、对照单元、结果提取单元；
Latex语言转换单元采集到不同科目的手写体图片，分别进行图片预处理，图片中公式所对应的Latex语言进行预处理得到Latex语言的字符集，得到公式图片数据集，和图片所对应的Latex语言的标签数据集；
特征向量提取单元利用Seq2Seq模型，其编码器端使用的是卷积神经网络提取预处理后的图片特征；其解码器是循环神经网络进行的解码得到图片特征所对应的向量；
向量筛选单元；使用Attention(注意力机制)将图片特征向量进一步概率权重计算，突出其中重要的特征向量；
所述对照单元对得到的特征向量经过Beam Search(束搜索)将得到的特征向量与Latex语言的字符集对应，得到图片中Latex语言；使用该神经网络对不同科目的数据集进行训练，得到不同科目的识别模型；
所述结果提取单元根据图片分类模型判断的结果，使用不同科目的公式识别模型进行预处理后的手写体公式的图片识别，得到识别的Latex语言。
具体的所述数据转化模块将Latex语言中的关键词和特殊符号与python中对应关键词和特殊符号一一对应并替换，得到python能够正确识别的sympy格式的公式语法。
具体的，所述答案对比模块包括相同数据替换库；
所述相同数据替换库中设置相同意义的字符作为一组；形式不同但含义相同的字符可相互替换。
如0.5和1/2可替换。
具体的，所述答案对比模块包括运算律替换单元，对于字符不同但含义相同的公式进行替换。
如加法交换律，a+b和b+a可相互替换；
如乘法交换律，a×b和b×a可相互替换。
实施例2
请参阅图1、图2、图3、图5、图6和图7本申请提供了一种基于深度学习的公式图片识别判题系统，包括：
中央处理模块，用于读取指令，对指令译码并执行指令；
图像录入模块，所述图像录入模块和中央处理模块电性连接，用于采集和录入图像；
科目分类模块，所述科目分类模块和中央处理模块电性连接，用于将题目分类成不同的科目；
公式识别模块，所述公式识别模块和所述中央处理模块电性连接，用于对图片进行识别得到Latex语言；
数据转化模块，所述数据转化模块和所述中央处理模块电性连接，用于将得到的Latex语言转换Python能够直接识别的sympy语法格式；
答案对比模块，所述答案对比模块和所述中央处理模块电性连接，用于与正确答案相对比，得到学生的各个题目的作答情况。
具体的，所述图像录入模块包括灰度识别单元、灰度处理单元、图片矫正单元和阈值分割单元；
所述灰度识别单元用于对图片进行灰度化处理，得到灰度图片；
所述灰度处理单元用于得到灰度直方图均衡化提升图片亮度；
所述图片矫正单元通过霍夫变换对图片倾斜的情况进行矫正；
所述阈值分割单元阈值分割得到图片中手写体公式的主体位置并切割出来，填入到预设的固定大小的空白图片中。
具体的，所述图像录入模块的使用方法包括以下步骤：
S1.二值化，使用大津阈值法得到，背景为白色，字体为黑色的二值化图像；
S2.倾斜矫正，利用霍夫变换的原理检测图片的倾斜角度，并进行矫正；
S3.阈值分割，截取图片中手写字体的主体部分，删除空白部分；
S4.改变图片大小，判断图片中手写体部分的尺寸大小，如果过小或过大均需要对图片进行放大或缩小操作，之后将缩放后的图片，填入到预设尺寸的空白图片中，方便后续模型识别。
具体的，所述科目分类模块包括数据库单元；
所述数据库单元设置分类模型，可以对预处理过的图片进行图片分类，得到图片所对应的类别，进而可以判断后续应使用哪种公式识别模型。
优选的，所述科目分类模块包括科目设置单元，用户可通过科目设置单元设置待识别的科目，从而直接对科目进行识别；
优选的，所述科目分类模块包括级别设置单元，将科目分为若干个级别，对于低年级的公式进行识别时，可屏蔽高年级的知识，可进一步简化识别的难度。
具体的，所述公式识别模块包括Latex语言转换单元、特征向量提取单元、向量筛选单元、对照单元、结果提取单元；
Latex语言转换单元采集到不同科目的手写体图片，分别进行图片预处理，图片中公式所对应的Latex语言进行预处理得到Latex语言的字符集，得到公式图片数据集，和图片所对应的Latex语言的标签数据集；
特征向量提取单元利用Seq2Seq模型，其编码器端使用的是卷积神经网络提取预处理后的图片特征；其解码器是循环神经网络进行的解码得到图片特征所对应的向量；
向量筛选单元；使用Attention(注意力机制)将图片特征向量进一步概率权重计算，突出其中重要的特征向量；
所述对照单元对得到的特征向量经过Beam Search(束搜索)将得到的特征向量与Latex语言的字符集对应，得到图片中Latex语言；使用该神经网络对不同科目的数据集进行训练，得到不同科目的识别模型；
所述结果提取单元根据图片分类模型判断的结果，使用不同科目的公式识别模型进行预处理后的手写体公式的图片识别，得到识别的Latex语言。
具体的，所述数据转化模块将Latex语言中的关键词和特殊符号与python中对应关键词和特殊符号一一对应并替换，得到python能够正确识别的sympy格式的公式语法。
具体的，所述答案对比模块包括相同数据替换库；
所述相同数据替换库中设置相同意义的字符作为一组；形式不同但含义相同的字符可相互替换。
如0.5和1/2可替换。
具体的，所述答案对比模块包括运算律替换单元，对于字符不同但含义相同的公式进行替换。
如加法交换律，a+b和b+a可相互替换；
如乘法交换律，a×b和b×a可相互替换。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于深度学习的公式图片识别判题系统，其特征在于，包括：
中央处理模块，用于读取指令，对指令译码并执行指令；
图像录入模块，所述图像录入模块和中央处理模块电性连接，用于采集和录入图像；
科目分类模块，所述科目分类模块和中央处理模块电性连接，用于将题目分类成不同的科目；
公式识别模块，所述公式识别模块和所述中央处理模块电性连接，用于对图片进行识别得到Latex语言；
数据转化模块，所述数据转化模块和所述中央处理模块电性连接，用于将得到的Latex语言转换Python能够直接识别的sympy语法格式；
答案对比模块，所述答案对比模块和所述中央处理模块电性连接，用于与正确答案相对比，得到学生的各个题目的作答情况。
2.如权利要求1所述的一种基于深度学习的公式图片识别判题系统，其特征在于，所述图像录入模块包括灰度识别单元、灰度处理单元、图片矫正单元和阈值分割单元；
所述灰度识别单元用于对图片进行灰度化处理，得到灰度图片；
所述灰度处理单元用于得到灰度直方图均衡化提升图片亮度；
所述图片矫正单元通过霍夫变换对图片倾斜的情况进行矫正；
所述阈值分割单元阈值分割得到图片中手写体公式的主体位置并切割出来，填入到预设的固定大小的空白图片中。
3.如权利要求1所述的一种基于深度学习的公式图片识别判题系统，其特征在于，所述图像录入模块的使用方法包括以下步骤：
S1.二值化，使用大津阈值法得到，背景为白色，字体为黑色的二值化图像；
S2.倾斜矫正，利用霍夫变换的原理检测图片的倾斜角度，并进行矫正；
S3.阈值分割，截取图片中手写字体的主体部分，删除空白部分；
S4.改变图片大小，判断图片中手写体部分的尺寸大小，如果过小或过大均需要对图片进行放大或缩小操作，之后将缩放后的图片，填入到预设尺寸的空白图片中，方便后续模型识别。
4.如权利要求1所述的一种基于深度学习的公式图片识别判题系统，其特征在于，所述科目分类模块包括数据库单元；
所述数据库单元设置分类模型，可以对预处理过的图片进行图片分类，得到图片所对应的类别，进而可以判断后续应使用哪种公式识别模型。
5.如权利要求1所述的一种基于深度学习的公式图片识别判题系统，其特征在于，所述科目分类模块包括科目设置单元，用户可通过科目设置单元设置待识别的科目，从而直接对科目进行识别；
所述科目分类模块包括级别设置单元，将科目分为若干个级别，对于低年级的公式进行识别时，可屏蔽高年级的知识，可进一步简化识别的难度。
6.如权利要求1所述的一种基于深度学习的公式图片识别判题系统，其特征在于，所述公式识别模块包括Latex语言转换单元、特征向量提取单元、向量筛选单元、对照单元、结果提取单元；
Latex语言转换单元采集到不同科目的手写体图片，分别进行图片预处理，图片中公式所对应的Latex语言进行预处理得到Latex语言的字符集，得到公式图片数据集，和图片所对应的Latex语言的标签数据集；
特征向量提取单元利用Seq2Seq模型，其编码器端使用的是卷积神经网络提取预处理后的图片特征；其解码器是循环神经网络进行的解码得到图片特征所对应的向量；
向量筛选单元；使用注意力机制将图片特征向量进一步概率权重计算，突出其中重要的特征向量；
所述对照单元对得到的特征向量经过束搜索将得到的特征向量与Latex语言的字符集对应，得到图片中Latex语言；使用该神经网络对不同科目的数据集进行训练，得到不同科目的识别模型；
所述结果提取单元根据图片分类模型判断的结果，使用不同科目的公式识别模型进行预处理后的手写体公式的图片识别，得到识别的Latex语言。
7.如权利要求1所述的一种基于深度学习的公式图片识别判题系统，其特征在于，所述数据转化模块将Latex语言中的关键词和特殊符号与python中对应关键词和特殊符号一一对应并替换，得到python能够正确识别的sympy格式的公式语法。
8.如权利要求1所述的一种基于深度学习的公式图片识别判题系统，其特征在于，所述答案对比模块包括相同数据替换库；
所述相同数据替换库中设置相同意义的字符作为一组；形式不同但含义相同的字符可相互替换。
9.如权利要求1所述的一种基于深度学习的公式图片识别判题系统，其特征在于：
所述答案对比模块包括运算律替换单元，对于字符不同但含义相同的公式进行替换。
CN202110365366.9A 2021-04-06 2021-04-06 一种基于深度学习的公式图片识别判题系统 Withdrawn CN112926571A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110365366.9A CN112926571A (zh) 2021-04-06 2021-04-06 一种基于深度学习的公式图片识别判题系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110365366.9A CN112926571A (zh) 2021-04-06 2021-04-06 一种基于深度学习的公式图片识别判题系统

Publications (1)

Publication Number Publication Date
CN112926571A true CN112926571A (zh) 2021-06-08

Family

ID=76174081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110365366.9A Withdrawn CN112926571A (zh) 2021-04-06 2021-04-06 一种基于深度学习的公式图片识别判题系统

Country Status (1)

Country Link
CN (1) CN112926571A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326675A (zh) * 2021-08-04 2021-08-31 江西风向标教育科技有限公司 一种用于教育资源库的公式处理方法及系统
CN113743315A (zh) * 2021-09-07 2021-12-03 电子科技大学 一种基于结构增强的手写体初等数学公式识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326675A (zh) * 2021-08-04 2021-08-31 江西风向标教育科技有限公司 一种用于教育资源库的公式处理方法及系统
CN113743315A (zh) * 2021-09-07 2021-12-03 电子科技大学 一种基于结构增强的手写体初等数学公式识别方法
CN113743315B (zh) * 2021-09-07 2023-07-14 电子科技大学 一种基于结构增强的手写体初等数学公式识别方法

Similar Documents

Publication Publication Date Title
US11790641B2 (en) Answer evaluation method, answer evaluation system, electronic device, and medium
CN110110585B (zh) 基于深度学习的智能阅卷实现方法及系统、计算机程序
CN111597908A (zh) 试卷批改方法和试卷批改装置
CN110399845A (zh) 一种图像中连续成段文本检测与识别方法
CN110503054B (zh) 文本图像的处理方法及装置
CN111767883B (zh) 一种题目批改方法及装置
CN111242024A (zh) 基于机器学习识别图纸内图例及文字的方法及系统
CN110619326B (zh) 一种基于扫描的英语试卷作文检测识别系统及方法
CN113177435B (zh) 试卷分析方法、装置、存储介质及电子设备
CN112926571A (zh) 一种基于深度学习的公式图片识别判题系统
CN111079641B (zh) 作答内容识别方法、相关设备及可读存储介质
Rasyidi et al. Classification of handwritten Javanese script using random forest algorithm
CN113537227A (zh) 一种结构化文本识别方法及系统
CN112307919A (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN112686263A (zh) 文字识别方法、装置、电子设备及存储介质
CN112446259A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN115880566A (zh) 一种基于视觉分析的智能阅卷系统
CN113159014A (zh) 基于手写题号的客观题批阅方法、装置、设备及存储介质
CN115810197A (zh) 一种多模态电力表单识别方法及装置
Gross et al. A handwriting recognition system for the classroom
CN109241869A (zh) 答题卡分数识别方法、装置及终端设备
CN110298236B (zh) 一种基于深度学习的盲文图像自动识别方法和系统
Shi et al. An invoice recognition system using deep learning
CN116403218A (zh) 基于远程音视频互动的线上线下混合式教学管理系统
Supic et al. Automatic recognition of handwritten corrections for multiple-choice exam answer sheets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Zhongjiao Yunzhi, 3 / F, Zhongjiao cloud group, RONGTONG science and Technology Industrial Park, No. 35, Huayuan East Road, Mudanyuan District, Beijing 100088

Applicant after: Zhongjiao Yunzhi Digital Technology Co.,Ltd.

Address before: 100094 Yunzhi, No.15, North 1st Street, Zhongguancun, Haidian District, Beijing

Applicant before: Zhongjiao Yunzhi Digital Technology Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100191 zhongjiaoyun, integrated innovation industrial park, No. 35 Huayuan East Road, Haidian District, Beijing

Applicant after: Zhongjiao Yunzhi Digital Technology Co.,Ltd.

Address before: Zhongjiao Yunzhi, 3 / F, Zhongjiao cloud group, RONGTONG science and Technology Industrial Park, No. 35, Huayuan East Road, Mudanyuan District, Beijing 100088

Applicant before: Zhongjiao Yunzhi Digital Technology Co.,Ltd.

CB02 Change of applicant information
WW01 Invention patent application withdrawn after publication

Application publication date: 20210608

WW01 Invention patent application withdrawn after publication